自動化率
自動化率措施自動化測試的測試套件的百分比。
一般來說,高自動化百分比表明更大的努力儲蓄的潛力。盡管跟蹤這個指標是很重要的,因為它顯示了進步,小心不要在強調其重要性。相反,看看自動化執行比例和風險覆蓋測試自動化。
自動化率計算的數量除以自動化測試用例在測試套件中的測試用例總數(自動化+手動)。舉個例子,如果你有50個獨特的自動化測試用例,你有100個獨特的手工測試用例在測試套件,那麼你的自動化率50 / (50 + 100)= 33%。
轉換工具包
視頻
需求覆蓋率
需求覆蓋措施的比例要求測試的測試套件。
測量需求覆蓋率是重要的第一步,以確保您正在測試正確的事情。記住,要求提供給你甚至可能不完整或缺失。因此,你有責任了解業務需求並確定需要測試的要求。
測量需求覆蓋率,您將首先需要把測試用例的需求。覆蓋麵可以計算需求的數量除以總數(測試用例)的要求。例如,如果有100個需求和90的需求測試用例,那麼需求覆蓋率是90/100 = 90%。
記住,一個需求可能隻有部分覆蓋,因為並不是所有可能的測試場景都被測試用例覆蓋。例如,您可能已經確定了10個測試場景,包括愉快路徑、消極的路徑,邊緣或角情況下,和多個數據組合,但僅為8創建和執行測試用例。然後需求的覆蓋率僅為80%。擴大在前麵的例子,如果100年有需求和50需求80%的覆蓋率,40要求有90%的覆蓋率和10要求有0%的覆蓋率,然後總覆蓋率,(50 x 80%) + (40 x 90%) + (10 x 0%) / 100 = (40 + 36) / 100 = 76%。
測試數據自動化率
測試數據自動化率措施的比例自動測試數據準備。
測試數據準備是非常重要的,以確保測試執行可以重複運行和可靠。測試數據準備工作有時需要50%的測試活動取決於測試場景的需求。因此,有很多自動化高效收益數據準備工作。跟蹤這個指標確保適當的重點是放在改善它。
數據準備自動化率計算的測試數據量除以自動化測試數據使用的總量。例如,如果所有的測試都需要1000個不同的數據記錄,和你有自動創建/ 500條記錄的集合,那麼你的自動化率是500/1000 = 50%。度規不需要一個精確的值(如很難量化的測試數據自動或使用)。
假陽性率
假陽性率措施失敗的百分比報告執行測試不相關的缺陷產品。假陽性可能由多種因素引起的誤解需求用戶錯誤。然而,最常見的原因是環境問題,測試數據問題,不寫測試用例。
假陽性率高表明測試結果是不可靠的,對整個測試周期有很大的影響。至少,它迫使測試人員和開發人員浪費時間確定報告失敗是一個實際的缺陷。如果發生這種情況往往被視為不可靠的自動化測試套件,可以使團隊回到手工實踐。此外,誤判率高塊成功的測試集成到持續集成管道。
假陽性率計算的測試用例數量除以失敗的原因除了一個缺陷的總數測試用例執行。因為它可能很難衡量具體的數字,這個指標可以被估計。
報告生成時間
報告生成時間措施所花費的時間生成一個報告應用程序或項目的質量。時間包括收集所有測試執行自動化和手工測試的結果在不同的係統和工具以及其他指標,可以幫助描述應用程序或項目的質量和健康。報告生成時間常常被低估,而不是跟蹤。通過跟蹤這個指標,提升工作的可見性和可能導致改善過程。
報告生成時間計算不需要精確,但估計多少時間花在這個活動將幫助您了解如果有機會來改善這個過程。
努力儲蓄從自動化
努力儲蓄從自動化措施的努力保存從手工測試,因為測試自動化。這個指標可以幫助你量化測試自動化的影響。
努力儲蓄的計算方法是用測試執行的數量乘以一個月,他們執行的次數,然後,平均每個測試的時間需要手動執行。舉個例子,如果你有100冒煙測試執行10 x一個月,每月500 4 x執行回歸測試,每個測試的平均需要手動執行15分鍾,然後努力儲蓄會(100 x 10) + (500 * 4) x 0.25小時= 750小時一個月。
努力儲蓄從自動化可以翻譯成本儲蓄乘以平均成本的節省時間的手工測試資源。這個數量的成本節約可以用於促進自動化的好處和幫助推動對話資源和工具的投資。
風險保險
風險保險措施的業務風險覆蓋您的測試套件。
測量你的基於風險的測試覆蓋率比測量需求覆蓋率,需要更多的工作,但回報是值得的,因為它提供了一個更好的理解在你當發布一個產品的風險。記住,不可能發布一個bug免費產品,測試或有100%風險覆蓋一切。測試的過程就是理解一個發布的業務風險和做出正確的決定基於理解。
有六個計算之前必須確定風險覆蓋範圍;傷害類,頻率類,要求重量,要求風險,測試覆蓋率和需求風險覆蓋。我將帶您親曆這些計算使用銀行場景。
想象有兩個要求,一個銀行的網站。要求一個狀態,用戶可以他們的帳戶之間轉移資金,並要求兩種狀態,用戶可以查找最近的銀行分支機構或自動取款機。
我們先分配需求的損傷和頻率類1到5的價值,一個是低和5高。要求一個,你可能5的傷害類的賦值,因為銀行將麵臨重大罰款如果用戶轉賬失敗,失去錢。你可以分配一個值頻率的2類,因為不是經常使用的轉移功能。這兩個數字,我們計算重量要求要求損害的一個通過提高2的指數類並添加頻率的提高2的指數類。在這種情況下,這將是25 + 22 = 36。
要求兩個,你可以指定一個值為1的傷害類因為未能找到附近的一個分支或ATM並不損害業務。你可以賦值3以來頻率類查找一個分支位置相對經常使用使貨幣轉移。使用這兩個數字,要求體重要求兩個將21 + 23 = 9。
一旦所有的需求權重計算,我們可以計算需求的風險。的需求,需求風險是其要求重量,36歲,體重除以總需求(36 + 9),這給了我們36 / (36 + 9)= 80%。要求的風險要求2 9 / (9 + 36)= 20%。
需求風險也可以被視為業務風險影響的要求。注意,要求所有的需求的風險之和應該加起來是100%。
接下來,測試覆蓋率的計算。如果要求一個隻有3中的5個測試用例測試的測試覆蓋率是3/5,使測試覆蓋率60%。要求兩個,如果有兩個中的5個測試用例測試,那麼測試覆蓋率將2/5 = 40%
需求風險覆蓋現在可以計算乘以每個需求的需求風險的測試覆蓋率。要求一是覆蓋風險x 60% = 48%和80%兩個要求是20%的x 40% = 8%。
最後,我們總結風險覆蓋所有需求的總風險的保險。在本例中隻有2,我們有48% + 8% = 56%的總風險覆蓋我們的銀行網站。這意味著目前的測試套件測試隻有56%的這個應用程序的業務風險。
自動化執行速度
自動化執行利率措施的比例執行自動化測試。自動化執行速度可以測量不同時期,例如,每日、每周、每月。
自自動化工作中的投資回報當你執行自動化測試,理解你的自動化執行速度可以幫助你衡量你的ROI。盡管提高測試執行利率通常是更好的,小心不要執行測試是要擴大這個指標。意思,如果您正在測試的應用程序(以及測試用例,環境和測試數據)並沒有改變自最後一次執行,執行相同的測試這個應用程序隻會招致機器資源成本。
自動化執行率是衡量執行自動化測試用例的數量除以總數量在一定時期的自動化測試用例。例如,如果您的自動化測試總數由1000個測試用例,執行100每天,另900每周,每天你的測試執行稅率為10%(100/1000)和100%(100 + 900/1000)。每周
缺陷漏
缺陷漏措施的缺陷沒有被測試。缺陷漏可以測量在不同的測試階段,如從係統到係統集成,係統集成,用戶驗收和用戶驗收投入生產。
測量階段之間的泄漏缺陷可以幫助顯示在不同階段測試的有效性。然而,最重要的階段測量缺陷漏將泄漏到生產在生產中發現的缺陷是最昂貴的解決。
缺陷漏到一個測試階段計算除以在測試階段發現的缺陷的數量,同樣的數量,加上之前測試階段發現的缺陷的數量。例如,如果有100個用戶驗收測試階段和900年發現的缺陷缺陷被發現在用戶驗收階段,然後缺陷漏UAT階段是100 / (900 + 100)= 10%。
測試周期時間
測試周期時間測量的測試過程耗時。測試周期可以分為五個不同的活動,測試數據準備、測試環境準備、測試執行、測試分析,和等待時間。
測試周期是一個很好的方法來測量你的測試過程是有效的。確保測試不成為發展和創新的瓶頸,你想要盡可能縮短測試周期時間。跟蹤分解各種測試活動的測試周期時間會幫助你找到機會來提高你的過程。
測試周期時間是衡量提交一個構建時開始,經曆了所有的測試階段(從單位、端到端或甚至UAT)直到構建(部署)接受或拒絕(缺陷需要固定進行另一輪的測試)。