概述
Twinformatics是一家信息技術公司，為維也納保險集團、Wiener Städtische Versicherung AG和Donau Versicherung AG開發和運營軟件解決方案。從設計和開發到運營和維護，他們為大約2.5萬名員工和數百萬客戶端到端管理服務和解決方案。他們的職責還包括運營和開發基於sap的核心保險係統，從現有係統和索賠係統到債務催收和支付，到集團範圍內的財務控製和人力資源解決方案。
隨著保險應用程序和服務越來越多地通過web應用程序以客戶為導向，係統性能是一個關鍵的競爭業務驅動因素。Twinformatics性能測試團隊由一名內部測試經理和三名外部顧問(Triscon)組成，每年測試四個主要版本和八個次要版本，平均每個月還有一個可選的熱修複程序。
挑戰
- 開發軟件的速度更快，但性能和穩定性更好
- 更快地創建迭代負載測試
- 減少性能測試維護工作
- 為不同平台(web、SAP)自動化負載測試
- 向所有涉眾提供有意義的結果和報告
NeoLoad的自動化測試更新將維護工作從20天減少到4小時
在當今競爭異常激烈的保險行業，潛在客戶和投保人對緩慢或有bug的應用程序是零容忍的。他們希望在任何設備、任何時間、任何地點都能獲得亞馬遜式的快速、無摩擦的端到端數字體驗。如果他們得不到，他們就會另尋他處。畢竟，競爭隻需要點擊一下鼠標。
在當今競爭異常激烈的保險行業，潛在客戶和投保人對緩慢或有bug的應用程序是零容忍的。他們希望在任何設備、任何時間、任何地點都能獲得亞馬遜式的快速、無摩擦的端到端數字體驗。如果他們得不到，他們就會另尋他處。畢竟，競爭隻需要點擊一下鼠標。
Markus Bonner負責Twinformatics的發布/測試服務。該公司最初主要與內部用戶進行軟件測試。由於任何性能問題都被保留在保險公司內部，客戶不可見，因此風險有限。
Twinformatics隨後決定向客戶開放其應用程序，並允許他們通過web前端直接與核心係統交互。例如，他們可以簽一份保險單。
“性能測試對於確保我們向客戶展示的任何東西都是真正有效的非常重要。現在，質量和性能是一個很大的商業問題。
Twinformatics開始使用JMeter進行負載測試，但發現創建和維護測試用例需要大量的工作。
“最初的計劃是對每個主要版本進行性能測試，一年四次。因此，我們每年不得不投入大約80人的時間來進行維護。這花費了我們大約8萬歐元，所以很明顯我們需要一個更少維護工作的解決方案。”Bonner說道。“那麼，與Tricentis NeoLoad合作就成了一個簡單的商業案例。”
結果
- 更快地發布性能更好、更穩定的應用程序
- 將性能測試維護從20個工作日減少到4個小時
- 一鍵將Tosca功能測試轉換為NeoLoad性能測試
- 將測試覆蓋率從10-20%增加到70-80%
- 從測試一個係統到測試七個係統
- 能夠為業務涉眾提供有意義的結果和報告
- 業務、開發人員和測試人員之間更緊密的協作
”NeoLoad滿足了我們針對不同應用程序和平台進行迭代負載測試的需求，且維護工作量較低。”
Twinformatics的測試經理Wolfgang Gaida也發現了JMeter的問題，他解釋說，一旦Twinformatics向客戶開放了它的軟件，“當有100或200個並發用戶時，我們開始發現生產中的性能和穩定性問題。
蓋達知道他們需要一個更好的解決方案。“我有使用NeoLoad進行負載測試的幾年經驗，所以我知道它可以滿足我們對不同應用程序和平台進行迭代負載測試的需求，而且維護工作量低。記錄新的測試場景(比使用JMeter)更容易。”
具體來說，雖然JMeter有一個具有記錄/回放功能的GUI，但是測試人員仍然需要一些專門的編碼專業知識來進一步定製腳本。NeoLoad是不同的，因為關於測試設計的一切都是拖放的。用戶甚至可以創建大型、複雜的測試，而無需手工編碼的麻煩。通過它的框架方法，NeoLoad還自動化了關聯動態參數和變量這一耗時、痛苦的任務。
最大的改變是NeoLoad的自動測試更新。傳統的基於腳本的測試工具，如JMeter或loadrunner，很容易受到脆弱測試的影響。每當應用程序更改或有人修改測試場景流中的某些內容時，測試腳本就會中斷，並且需要花費很長時間才能修複。但是NeoLoad技術隻更新了已經更改的測試部分，並重用了其餘部分，保留了原始設計中的變量提取器、思考時間、sla、循環、JavaScript、驗證等。
“在NeoLoad框架中，‘規則’為每次測試迭代自動且正確地更改參數。因此[更新維護]工作不像使用JMeter那麼大。我們已經將每個測試集的維護時間從20個工作日減少到4到5個小時。我們已經從每年執行4個測試用例增加到大約365個——增加了90倍。我們現在覆蓋了7倍以上的係統，”Gaida補充道。
產品組合
- Tricentis托斯卡
- Tricentis NeoLoad
”我們已經將每個測試集的維護時間從20個工作日減少到4到5個小時。”
Tosca + NeoLoad =降低風險(在速度和規模上)
特別值得注意的不是測試的總體數量，而是增加的風險覆蓋率。傳統測試方法的一個常見問題是，它們專注於計算運行的測試用例的數量，而不是度量業務風險。換句話說，如果團隊沒有測試最重要的東西，那麼運行多少測試就無關緊要了。
Twinformatics在應對這一挑戰方麵走在了前麵，大約在16年前就采用了Tosca及其基於風險的測試優化方法。Tosca結合了智能測試用例設計和需求優先級劃分，幫助Twinformatics將測試活動與業務優先級保持一致，將軟件測試資源集中在對業務最重要的任務上，並停止創建、維護和運行不增加價值的測試。
“在Tosca之前，根據你問的是誰，我們有大約10-20%的覆蓋率，但實際上沒有任何真正的想法。現在，有了Tosca和基於風險的回歸測試，我們有了70-80%覆蓋率的目標，其中70-80%的覆蓋率是自動化的。現在我們也在進行負載和性能測試。”Bonner解釋道。
Twinformatics能夠以最小的努力獲得盡可能高的風險覆蓋率的一種方法是通過本機Tosca-NeoLoad集成，該集成使您能夠一鍵將功能測試轉換為性能測試。從本質上說，NeoLoad接受功能測試並將其“翻轉”為性能測試，這樣您就不需要為性能測試和功能測試維護兩組獨立的測試。隻要保持功能測試的最新狀態，就可以得到所需的內容。
“我們不需要分別為負載測試和性能測試發現新的場景。我們可以使用Tosca測試用例。這很簡單;隻需要點擊一下就可以定義一個代理，然後我們播放Tosca測試用例，在NeoLoad中記錄性能測試用例。如果框架參數改變了，我們會自動有一個更新的(性能)測試用例，”Gaida說。
這種“單一定義”功能與Twinformatics基於風險的測試方法完美吻合。他們已經開發了一個確保業務涉眾和測試人員之間緊密協作的過程。“業務部門看到我們根據業務風險覆蓋了業務流程。我們使用Tosca需求來確定業務風險的優先級，因此當業務可以看到我們所做的並可以“衡量”他們的流程時，這是很有幫助的。當我們剛開始的時候，每個過程當然都同樣重要。所以我們聚在一起問，如果失敗了會有什麼影響?這個過程多長時間運行一次?因此，我們提出了一個業務風險評級過程——這是確定測試用例優先級的基礎，”Bonner說。
“在Tosca之前，我們的覆蓋率是10-20%。現在我們的目標是達到70-80%的覆蓋率。”