我們很榮幸地邀請到了葛蘭素史克(GlaxoSmithKline, GSK)全球應用運營主管Jamie white，他最近與SAP社區分享了他的團隊的SAP測試自動化策略。
Jamie首先概述了GSK的最終目標:減少檢測時間和成本，同時保持高質量以降低風險。然後，他回顧了他們麵臨的挑戰，包括不適合敏捷的手動變更評估過程和測試自動化工具。最後，他詳細介紹了GSK以“自動化即服務”為核心的持續測試戰略。一路上，他強調了Wipro和Tricentis在旅程的每個階段提供的專家指導。
以下是完整的演講，後麵是文字記錄。
上下文
我很高興能和你們談談我們在Tricentis所做的一些偉大的工作。我在製藥行業已經有20年了。我是我們全球應用平台的負責人，所以葛蘭素史克目前運營的每個全球平台都在我的職責範圍內。
三年前我接管了測試職能。GSK的檢測有兩種篩查目的。首先是軟件質量:確保我們在保護我們的業務運作。其次是計算機係統驗證，它確實圍繞著我們，確保產品質量，患者安全，並滿足我們外部監管機構的需求。兩者同等重要。但這讓葛蘭素史克走上了一條道路，我們在過去幾年花了大量的錢，花了很長時間來測試我們的應用平台。
當我第一次負責團隊時，我們遇到了很多挑戰。首先，我們的業務發生了變化。我們正在轉變為一個數據驅動的組織，一個以產品為導向的組織。我們知道敏捷就要來了，我們已經從這些非常大的瀑布式部署項目中走出來了，這些項目耗資數億美元，產品團隊可以快速管理變更。我們知道我們還需要保持質量，我們知道我們需要減少周期時間，以便能夠將更改部署到生產中。但我們總是要保持這種品質。當我說質量時，我實際上是在談論兩個方麵:驗證質量以及軟件質量。
從曆史上看，我們的團隊有一個非常大的SAP資產。我們有大量的顧問在環境中工作，我們的大部分測試都是手工完成的。我們會提出變更，他們會確定他們認為需要測試的內容，這些測試用例是手動開發的。然後，由同樣一批職能顧問執行。那花了我們很多錢。這些都是高薪且經驗豐富的顧問。我們真的需要重新思考我們過去所做的一切，以及我們未來將如何工作。我們知道我們必須保持質量，我們知道我們必須做得更快。為了更快，我們必須提高效率。但我們必須大幅降低成本。
這就是所有的挑戰。這讓我們進行了一個非常緊張的評估:看看市場上有什麼工具，以及我們如何修改我們今天的工作方式。這樣做的最終結果是，Tricentis工具集顯然是市場領導者，該工具將使我們能夠實現滿足組織需求所需的業務結果。因此，無論是從測試自動化的角度，還是影響分析，所有這些工具結合在一起，都可以幫助我們以正確的成本實現效率。
現在我們可以擁有一個測試資源池，我們不需要像在這個行業工作了20年的SAP功能顧問那樣支付那麼多錢。但我們也可以確保我們對生產運營或商業運營的風險進行管理。我們可以確保我們符合監管預期，並真正改變我們作為一個組織的運作方式。
我們過去曾嚐試用UFT實現自動化。結果總是相同的:維護這些腳本所需的工作非常高。最終的結果是功能團隊隻是說，“對我來說，我自己測試它比嚐試自動化和維護那些自動化腳本更容易。”現在已經沿著Tricentis的路徑走下去了，我們可以輕鬆地維護腳本。我們與我們的產品團隊有直接的聯係。當我們部署到生產中時，我們能夠高效地管理這些。這真的是一次從幾乎完全手工的旅程。
GA和D測試工具策略
我們在SAP Solution Manager中構建了大量的文檔集。我們知道我們必須對我們必須在HP ALM中更新和管理的測試用例進行手動檢查。我們試圖在UFT中自動化這些，但那有點失敗了。我們維護ALM，因為從驗證的角度來看，這是我們的記錄係統，但是很少有自動化。多年來，我們從未實現過為自己設定的目標，盡管我們一次又一次地嚐試，投入了大量資金來實現這個目標。
所以，我們決定搬到特裏entis。我們現在運行的環境中仍然有SAP解決方案管理器。我們在此基礎上使用Rev-Trac來管理SAP資產中所有軟件發布的變更和發布管理。我們還讓LiveCompare幫助對這些變化進行影響評估。這有助於我們識別使用Tricentis工具集需要執行哪些測試用例。
在Tricentis中實現自動化所需的工作量比我們在UFT中所經曆的工作量要少得多。這確實使我們的職能團隊能夠更自如地使用該工具，並且他們也對其產生的結果充滿信心。同樣，這是關於他們是否有能力，所以我們可以開始將這種責任轉移到我們的集中測試功能中。現在我們已經簡化了狀態，並且我們已經有了實現我們需要為業務交付的結果所需的工具。再說一次，我的主要期望是維持我們的業務運作。我們必須正確地測試這個功能。但我們需要在合適的價格點上進行測試。
自動化成功案例#1:煙霧測試套件
我這裏有幾個利益案例來告訴你們我們所取得的成就。我們不僅要發布版本，還要回歸測試每周發布或每月發布的一部分。我們還希望確保我們有能力建立信心，即在整個地產中沒有缺陷泄漏。
在GSK的任何一個時間點，我們的SAP係統都發生了大量的變化。我們想要確定最關鍵的流程，我們需要確保，不管其他什麼，我們可以繼續向客戶交付產品。這是我們煙霧測試包的基礎。這是其中一個關鍵的過程:我們如何確保我們在不斷地測試，不僅僅是作為發布的一部分，而是不斷地測試，以確保我們有信心，我們不會對我們的業務產生負麵影響。
所以我們把這些都認定為煙霧包的一部分。我們已經完全自動化了。現在，以前需要我們三個星期才能完成的大量測試現在隻需要一天多一點，而且我們還在繼續改進。我們現在有85個端到端場景，我們將繼續擴大到完全覆蓋的程度——不是回歸測試，而是真正專注於那些關鍵的端到端場景，使GSK能夠繼續有效運營。
我們已經從中獲得了巨大的利益。它給了我們信心:我們捕獲了本來可以投入生產的缺陷。這種情況經常發生，我們將其作為一個關鍵指標進行監控。它確實給了it領導者我們所需要的信心，同時也給了我們的業務客戶信心，我們正在積極有效地進行管理。
自動化成功案例#2:W & D標簽項目
我們還管理產品領域的單個增量變更。雖然這是一個較小的規模，但真正的目的是表明在每個單獨的產品團隊中，您會發現Tricentis工具集有許多用例。這是我們有一個標簽項目。GSK的標簽非常重要。同樣，如果我們在這些標簽上犯了錯誤，就會對監管預期產生很大的影響。數據的準確性非常重要，這個過程有效運作非常重要。這些貼標機就在我們的生產線上;如果這些東西壞了，我們就會讓整個製造工廠停止運作。
在這裏，軟件測試以前需要花費我們一周的時間，現在減少到四個小時。我們可以快速生成標簽更改，我們可以在一天內快速測試這些更改，並將它們安全有效地部署到生產環境中。這不僅對我們來說是一個巨大的利益，對我們的客戶也是如此。他們可能有一個新產品，一個新的標簽需要改變。這在過去要花上一段時間。現在，我們可以快速做到這一點，也可以安全地做到這一點。
再說一次，這隻是我們看到巨大價值的另一個例子。在我們SAP產業的每個產品領域都有很多這樣的產品。
自動化即服務
現在，我們已經建立了這項服務。我們不僅提供測試自動化和SAP，我們還有標準化的服務，我們可以利用GSK的整個技術功能來提供谘詢，包括如何自動化，在哪裏自動化，如何利用工具集。我們可以完全擴展該服務——不僅在SAP資產中，還可以跨多個應用程序。
我們現在可以跨生態係統中的多個係統測試端到端場景。您可以采用訂單到現金流程，並說“讓我們測試一個接受訂單的web應用程序……這些訂單下到SAP……這些SAP訂單然後生成賬單文檔並下到我們的倉庫係統……這是完全自動化的。”我們可以利用我們構建的這些模塊化測試資產來測試整個端到端流程。
從自動化的角度來看，我們無法在UFT中做到這一點。通過這種方式，我們可以節省大量的成本。我們不再需要投資於這些高度專門化且昂貴的資源，不僅僅是SAP，而是整個產業。我們可以以合適的成本來擴展這項服務，以滿足組織的需求。對於一個項目來說，這可能是暫時的，也可能是持續嵌入到整個組織的產品團隊中。這對GSK來說是一個巨大的價值。
我們與Tricentis的合作非常成功。那裏的客戶團隊非常棒。我們真的合作得很好，不僅達到了今天的水平，而且著眼於未來的產品，以及我們將如何管理測試數據，以及Tricentis團隊的一些新產品。
問與答
你們如何處理21 CFR第11部分的計算機係統驗證?合規嗎?
好問題。這是我們工作的一個關鍵部分。我們的大部分監管報告都來自ALM。今天我們從ALM中生成了需求跟蹤矩陣。我們正在考慮Tricentis的qTest作為潛在的長期替代品，但我們還沒有這樣做。總的來說，Rev-Trac中的變化過程是從監管的角度出發的，但是測試需求的證據來自於ALM。
您如何使用測試數據管理?
我們在SAP中有一個測試係統，我們有多個測試係統，用來維護一致的數據集。我們從SAP的角度有效地使用客戶端副本來管理數據集。不過，我們正在關注DI平台，因為現在我們正在考慮如何擴展它，將數據管理部分擴展到SAP資產之外。我們正在運行這些端到端場景，所以我們需要確保我們得到了一致的測試數據。這是一個更大的挑戰，我認為我們真的開始探索這個問題了。我們將繼續推進這一戰略。
但是，特別是在今天的SAP中，我們有傾向於用於測試的靜態數據集。如果這不起作用，我們將把它構建到我們的測試自動化腳本中。因此，測試團隊有腳本和流程，可以在執行之前生成測試數據，他們今天將執行這些腳本和流程來維護測試數據。但是，我們正在探索DI工具作為未來的潛在替代品。
GSK還考慮了哪些其他工具?
如果你回到Gartner魔術象限，你幾乎可以使用上麵的所有工具。在某種程度上，葛蘭素史克已經在較小的規模上實施了這些工具。我們看了茄子，我們看了Worksoft，我們看了那裏的每一個平台，我們說，“這些中哪一個真正能滿足這個組織的需求?”我們沒有限製它;我們最初有10個不同的軟件組件。我們探索了其中哪些可以真正滿足我們的需求?哪一個是最好的?我們認為其中哪一種是長期可持續的，最能實現我們設定的雄心?
這是一次大範圍的搜索。我們研究了魔法象限內的所有東西然後將範圍縮小到前三。我們說，“好吧，這些中哪一個能真正滿足需求?”Tricentis顯然是最有力的競爭者。
選擇Tricentis的優先考慮因素是什麼?你是否覺得選擇Tricentis是一個經過深思熟慮的決定?
我想我可能在很多方麵提到了這個問題，對吧?一切都是圍繞著我們能以最好的價格做什麼，提供正確的質量和快速交付。這些是最終的標準。此外，它能滿足我們的監管期望嗎?平台是否經過驗證?我們能滿足監管部門的需求嗎?我們能確保我們在保護我們的業務運作嗎?我們能快點嗎?
我想這就是我和我的團隊所使用的鏡頭。對GSK來說，Tricentis絕對是正確的決定。我會毫不猶豫地重新做這個決定。我認為它幫助我們實現了這一雄心。我們已經通過過去24個月的成果證明了這一點，這些成果來自冒煙包、自動化回歸測試單個項目，以及我們為這些項目構建的自動化工件。
我們也在探索SAP領域之外的許多其他機會，在這些機會中，我們能夠獲得與SAP領域類似的好處。這並不是專門針對SAP的，而是我們在整個企業範圍內推廣的，它為整個GSK組織帶來了巨大的節省。
這個工具對於擁有一個IT部門或整個業務中有30人的小公司有意義嗎?
我想這可能更像是一個商業問題，而不是能力問題。我給出的例子是一個小型產品團隊。使用Tosca開發自動化所需的技能集比使用UFT或任何其他基於腳本的自動化工具要容易得多。因此，您可以讓IT顧問對Tosca進行一些培訓，他們將很快實現自動化。
撇開商業廣告不談，我認為隻要你有一個團隊，你可以利用他們來學習這個工具，那麼你就絕對能夠在一個較小的組織中實現自動化。你們將能夠利用你們今天所擁有的資源做到這一點。