保險軟件公司Twinformatics的發布和測試經理Wolfgang Gaida和Markus Bonner分享了他們成功地為數百萬客戶依賴的軟件實施自動化和性能測試的專業知識。這些長期從事自動化工作的專家討論了項目的進展，如擴展kpi和利用虛擬機，並強調了逐步數字化轉型的重要性。為清楚和簡短起見，以下文字經過輕微編輯。
播客轉錄
第1部分
艾瑪:各位聽眾，你們好，我是主持人艾瑪。我們有一個很棒的采訪，我們的嘉賓也在目前寒冷但美好的維也納。今天我們請到了Wolfgang Gaida和Markus Bonner，他們都是Twinformatics的發布和測試經理。熱烈歡迎二位來到播客節目。
這是我們“保險測試創新”係列的第二集，我們正在和測試領域的領軍人物聊天。我們已經和Twinformatics合作超過10年了;他們是奧地利最大的保險公司之一維也納保險集團的IT提供商。你們正在為25,000名員工和數百萬客戶開發軟件;如果你在維也納收聽，你很可能在使用他們的軟件來滿足你的保險需求——包括我在內。
讓我們從頭開始。你在2008年加入我們，從那以後，你在相當長的一段時間裏一直在創新和測試，並取得了很好的結果。
我們看到您將測試覆蓋率從10%提高到80%，係統覆蓋率提高了十倍。這些變化如何影響您交付的軟件的質量?
馬庫斯:實際上，我們從2007年7月就開始使用這個工具了，所以它已經使用了很長時間了。增加測試覆蓋率顯著地增加了對我們提供的自動化測試用例的信任，以及對我們定期運行的測試用例的信任。這對業務同事來說是一個好處，特別是因為他們可以將他們的測試重點從手動回歸測試轉換到測試新功能。另一方麵，這使得我們能夠顯著地增加新軟件交付的數量。
艾瑪:很高興聽到Tosca幫助您將測試擴展到如此大的程度，反過來它也確實提高了係統的質量。在保險領域也是如此，當你的客戶真的依賴保險係統時，質量就變得非常重要。
隨著您的客戶基礎的擴大，您是否認為對質量的需求比以往任何時候都要高?
馬庫斯:肯定。
“當我們將隻在內部使用的係統開放給我們的客戶時，對質量的需求當然顯著增加了。當一個係統在內部不起作用，當它對我們的客戶不起作用時，它在市場上就會非常糟糕。因此，提高保險業務的軟件質量非常重要。”
艾瑪:完美的。很高興看到托斯卡也幫助你做到了這一點。
我們的聽眾可能很清楚，Twinformatics去年獲得了Tricentis開拓者客戶獎，它認可你將持續測試擴展到非功能測試，以更大的信心進一步加速你的發布周期。
這種更先進的性能測試是如何灌輸這種信念的?對你來說釋放出更多的自信是什麼感覺?
沃爾夫岡:再次感謝你獲獎。這對我們來說是一個巨大的榮譽，對Twinformatics來說也是，對我來說也是。當我回顧負載和性能測試的轉換時，我必須說我們在接受性能測試結果時也有轉換。
讓我們來看一開始:我們在三年前從Tricentis NeoLoad開始。這意味著結果和報告是由NeoLoad生成的，我們沒有自動化的方法。在轉型過程中，我們建立了一個性能測試實驗室，從存檔係統、Bitbucket和GitLab開始，現在它已經完全集成到我們的係統中。然後與CI工具集成，用於自動的非功能測試。
我們還實現了Tosca集成，這意味著我們有Tosca測試用例和筆測用例，可以由NeoLoad自動記錄。我們有一個負載測試，當我們有一個Tosca測試用例，我們說，一個小時。我們也有NeoLoad web安裝的前提和集成這個NeoLoad web與JIRA組件。
“我們實現了這些日常自動化負載測試，我們的流程中有一個新規則，即在向生產係統發布之前執行負載測試是強製性的．”
沃爾夫岡:這是一個漫長的學習過程。一開始，我們遇到了一些問題。開發人員隻接受功能性錯誤和功能性錯誤的缺陷。他們也意識到非功能性問題的重要性。例如，當我們的響應時間很長時，我們有一些不穩定的軟件，其中我們有一些意想不到的、無意義的錯誤—給最終用戶的錯誤消息。在這個過程的後期，我們看到了執行測試的優勢和需要，開發人員還根據非功能缺陷進行了修正。我們一起分析了案例，並召開了負載測試特別會議。
“我們了解到負載測試是一項團隊運動，項目或測試團隊的每個成員都參與其中。我們還學會了評估自動化性能測試的結果，我們的心態是，慢就是新的停機時間．”
沃爾夫岡:這是一個漫長的學習過程。一開始，我們遇到了一些問題。開發人員隻接受功能性錯誤和功能性錯誤的缺陷。他們也意識到非功能性問題的重要性。比如當我們有長r的時候
艾瑪:太好了。聽說你們已經實施了強製執行性能測試的新規則，並且你們都在密切關注非功能需求，提高係統的性能和Neoload和Tosca集成所提供的可見性，這真是太棒了。很明顯，整個公司都在會議中采納了這一點，並將其作為黃金法則，這是非常值得看到的。
我們前進的方向是性能工程;這是一個你聽到越來越多的術語。它應該嵌入到測試生命周期中。因此，我認為將Tosca與NeoLoad結合起來以滿足測試需求是很有意義的。
沃爾夫岡，我之前也聽你提到過，有了這個，你從一年執行四個測試用例增加到大約365個——也就是一天一次，增加了90倍，覆蓋了更多的係統。看到全麵的成功真是太好了。就你的測試而言，我知道你在web應用程序和SAP之間進行自動化負載測試，我們發現我們的許多客戶也在同一條船上。
你主要是在SAP下測試web UI和NetWeaver。我很想聽到你從測試這個軟件中學到的任何經驗教訓，特別是在保險領域。
馬庫斯:對我們來說，一個基本的認識是，我們需要一個專門的技術團隊來構建對業務有意義的自動化測試用例。對我來說，第二個學習是我們需要有易於維護的測試用例。這也是我們在負載和性能測試中從JMeter轉向NeoLoad的原因。
沃爾夫岡:我們現在主要關注的是web應用程序的測試。我們還測試了SAP應用程序，但隻測試了一個用於索賠管理的應用程序。現在，SAP在隊列中。
“我們在測試過程中吸取了一些經驗教訓。在準備階段，當我們開始記錄測試用例的計劃時，我們至少需要一個故事書或者一個自動化的Tosca測試用例，從端到端進行了很好的描述。我們希望最小化腳本編寫過程中的工作量．”
沃爾夫岡在這個故事書中，我們還需要一個可以使用的測試登錄數據的描述。我們不喜歡在負載測試期間進行試錯。
執行階段組織為在線會議，必要的涉眾參與其中/他們負責監控係統，收集跟蹤，並在分析階段製作綜合報告。在結果會議中，我們對結果進行了討論，並做出了一些測量和下一步的步驟。一個重要的聲明是，負載測試對我們來說是一項團隊運動。
艾瑪:太棒了。所以現在大家都要齊心協力了。
你是否采用了敏捷scrum框架，讓團隊定期檢查?
沃爾夫岡:這些會議不是很定期;它們或多或少是隨需應變的。我們有一個負載測試，執行它，然後我們有結果會議來決定下一步采取什麼步驟。
艾瑪:這是有意義的。有趣的是，你沒有嚐試和錯誤;你想要設定那些嚴格的要求你從一開始就知道這很重要。通常，測試都是事後才考慮的事情，但是您在早期就將測試需求調整好，這樣您的過程就可以更快地進行。
沃爾夫岡:是的,當然。
艾瑪:所以很明顯你在Twinformatics有一個很好的設置。你有合適的人員、工具和流程。
第1部分結尾部分
他們擁有超過15年的測試自動化經驗，有很多東西需要從Wolfgang和Markus那裏學習!多年來積累的對自動化的信任已經購買了增加的測試覆蓋率，因此增加了對他們的軟件交付的信心。Twinformatic的軟件服務於一個重要的客戶群，因此性能測試是這個謎題的關鍵部分是有道理的，特別是在客戶確實依賴於他們的服務的保險環境中。
第2部分
艾瑪:現在是2022年。
你今年有什麼新的計劃?
馬庫斯:我們在準備中有一些我們希望在2022年實現的議題。
“一個重要的主題是，我們希望試點Tricentis Live Compare，以更專注於我們業務同事真正使用的細節和功能。這樣我們就能更專注於軟件中真正發生變化的部分。我們希望看到大量的好處和軟件測試質量的提高。”
馬庫斯:我們想要為自動化測試用例實現新的調度。我們將用Jenkins和/或其他新技術來做到這一點。對我們來說，另一個非常有趣的主題是您現在提供的自修複功能，我們想嚐試一下，看看它能在維護測試用例方麵對我們有多大幫助。
另一個重要的話題是新的報道。我們計劃很快與特裏森提斯團隊會麵，我們想看看它是如何工作的，以及我們能在多大程度上利用它。這當然是一個重要的話題，所以當我們有好的測試結果時，我們可以以體麵的方式呈現它們。不幸的是，在所有自動化測試用例中，我們仍然有很多技術磁帶需要清理，我們希望在今年上半年完成這項任務。
艾瑪:很好，那你還有很多事要做。很高興看到你嚐試Live Compare進行更明智的影響分析，顯然你對Tosca的所有功能都非常熟悉。能有像你們這樣的超級用戶來試用它們真是太棒了。
對於我們的聽眾來說，DEX是Tosca的分發服務器，它通過在雲中的多個虛擬機之間實現自動化來加速測試。這是一場激動人心的冒險。清理現有測試用例庫也是有意義的。
沃爾夫岡:我也有一些計劃，特別是負載和性能測試。首先，我們將在我們的測試實驗室中使用新的虛擬機。我們有了一個用於生產環境的新的NeoLoad web服務器—一個新的階段—我們還將實現一個Jenkins集成，它也將被Markus的測試主題使用。這些隻是我們的基礎設施主題。我們為隊列中的新活動提供了新的性能測試。例如，銀行軟件集成和客戶門戶中的新軟件，我們還將在性能測試後擴展我們的內部流程。我聽說有一個工具可以收集NeoLoad測試結果的比較。
“我們經常會有這樣的問題;與任何基線相比，或者與最後的官方版本，或者其他版本相比，我們實際的軟件有多好?有一種工具可以處理這個問題並自動回答這個問題。在2022年，我們將把這個工具整合到我們的係統環境中，整合到我們的性能測試中。”
沃爾夫岡:同樣重要的是，我們要為sla和響應時間製定進一步的kpi(關鍵性能指標)，並且我們將繼續規範非功能需求。這些都是我們在表演領域的主題。
艾瑪:接下來還有很多。很明顯，你一直在尋找下一個創新，這很好。
對於負載性能測試，您提到了這些新的虛擬環境;它們是否允許您在係統投入生產之前對其進行虛擬化?
沃爾夫岡:是的。有些係統是虛擬化的，有些是物理的。這取決於係統。
艾瑪:太好了。我很期待看到所有這些計劃的推出情況。
在10個字以內，你會給其他在保險等受監管領域從事數字化轉型的人什麼建議?
馬庫斯:非常重要的是為功能和非功能主題構建相關的業務風險加權自動化測試集，並將其包括到您的部署流程中，與專門的自動化專家進行構建。如果你沒有，那就找對夥伴來做。
沃爾夫岡:我想說的是，開始轉變，一步一步來——沒有大爆炸——使用NeoLoad。
艾瑪:我喜歡NeoLoad的三步完成過程。角度不同，但目標相似。
如果你能在應用程序開發中改變當今世界的一件事，那會是什麼?
沃爾夫岡:我認為商業分析應該更加專業。
“我們應該在早期階段更多地嚐試尋找錯誤，因為它們成本更低。在另一個不同的主題上，係統集成測試應該由一個獨立的團隊獨立完成。”
馬庫斯:我對此的想法;人工智能根據文檔化或掃描的業務需求接管軟件開發。我認為應該基於文檔化或掃描的業務流程來生成自動化測試並進行風險加權。這裏仍有需要改進的地方。
第2部分結尾部分
很明顯，Wolfgang和Markus對Twinformatic的測試環境有很好的了解，並在不斷改進和發展。和軟件需求一樣，從實現進一步的kpi到切換到虛擬機，人員方麵也不會被忽視——以正確的方式與正確的人合作是成功的關鍵。
如果你想看看Tricentis Tosca和Tricentis NeoLoad能為你做什麼，查看我們的產品了解更多，今天就試用。
檢查最新的播客集從沃爾夫岡和馬庫斯這樣的思想領袖那裏獲得更多的見解。