為什麼Jira測試管理應用程序不能用於企業

存儲限製很快就會導致性能和可伸縮性問題

在企業規模上，Jira測試管理應用程序會導致Jira服務器和Jira數據中心的顯著性能問題。Jira應用程序(以前被稱為插件或附加組件)缺乏內置存儲。這類應用程序依賴Jira數據庫來存儲它管理或創建的數據。隨著數據的積累和應用程序消耗更多的空間，整個Jira實例變得越來越容易受到性能下降、死機和崩潰的影響，這影響到整個組織中的每個Jira用戶——i根據我們的研究，懷孕14周。

Jira是軟件交付管道的業務關鍵組件，提供工作流管理和跨所有涉眾的單一真相來源。Jira崩潰會使軟件交付工作流完全停止。達到使Jira容易崩潰的規模可能比你想象的要快得多。

Atlassian的文檔列出“已知的主要問題”3^{理查德·道金斯}Jira的派對應用。”榜單上的兩個測試管理應用程序被認為是導致宕機的原因內存不足錯誤．根據Atlassian的說法，內存不足錯誤將停止郵件發送，阻止活動流的更新，並導致Jira應用程序崩潰。在POC或評估過程中，這些問題可能不會被完全認識到，但是隨著越來越多的團隊開始將測試用例和工件從他們的遺留解決方案遷移到Jira測試管理應用程序，這些問題很快就會變得明顯起來。查看下圖了解Jira測試管理應用和專門的外部測試管理解決方案(如Tricentis qTest)之間的區別。

Jira測試管理應用和獨立測試管理之間的架構差異：

當組織開始擴展測試自動化以支持敏捷開發和DevOps交付計劃時，這個問題就加速了。測試自動化顯著地加速了測試，因此本質上，它比單獨的手工測試創建了顯著地更多的測試結果數據，顯著地更快。當Jira測試管理應用程序導致Jira崩潰時，測試人員就不能再存儲、訪問或重用測試用例，失去所有可見性和可追溯性——這通常是他們最初實施測試管理的主要原因。此外，所有的開發工作可能會陷入停滯。使用適當的工具開始轉換要比等到中途失敗和延遲導致整個軟件開發生命周期(以及業務所依賴的創收版本)停滯要好得多。

確定臨界點:何時出現性能問題?

為了解決可伸縮性問題，您可以購買更多Jira Data Center機器，以繼續訪問和存儲不斷增長的測試管理數據集。這對於手工測試來說可能是一個可行的解決方案，但是如果您的團隊正在走向更高比例的自動化測試，那麼您需要存儲的測試數據量將會呈指數級增長，這就需要您無限地繼續添加額外的機器。

為了更好地了解性能問題可能發生在哪裏，我們使用Jira Server和一個常見的測試管理應用程序進行了一個實驗。以下是我們的發現:

1. 加載幾千次測試執行不會顯著影響Jira的使用。這表明，當隻在小範圍內管理手動測試用例時，Jira測試管理應用程序是一個可行的解決方案。
2. 在一個小來媒介的規模,大約10萬次測試執行，我們發現整個Jira應用程序的性能受到了顯著影響。事實上，當從標準測試套件加載執行結果到大型測試套件時，Jira多次崩潰。
3. 當將自動化結果加載到Jira中時，Jira API在整體上受到了顯著的影響，整個應用程序的延遲大大增加，影響到非測試人員、開發人員、業務分析師和其他用戶。

100000個測試執行

為了清楚地說明10萬個測試執行是什麼樣子的，考慮以下高級但現實的場景:

• 3應用程序
• 每天8個構建(開發代碼提交——標準CI流程的一部分)
• 每次在構建上運行30個冒煙測試(每周執行3,600次)
• 每周運行1,000個回歸測試用例(每周3,000個執行)
• 每個構建運行5個性能測試場景(每周執行600次)
• 每周1次代碼質量掃描結果(每周執行3次)
• 每日靜態安全掃描結果(每周執行15次)

這是您將跟蹤的7,218個測試執行結果從自動化每星期。

你在看14周直到在此場景中達到100,000個已存儲測試執行。換句話說，在這種情況下，用戶在采用測試管理應用程序三個半月後就會出現嚴重的性能問題和崩潰。

Jira測試管理應用程序如何隨著時間的推移降低Jira性能:

我們知道每個項目都是不同的，你可能會或可能不會那麼頻繁地自動化——但也許你應該這樣做!

當伸縮測試自動化時，測試結果數據創建的數量級大於其他係統，因為在持續集成過程中的測試意味著結果添加的速度比Jira中的需求、缺陷和其他工件要高得多。例如，一個有10個用戶描述的sprint可以有與每個用戶描述相關聯的數百個自動化測試。Jira測試管理應用程序並不是為這種可伸縮性而設置的，所以很容易看出，當多個團隊執行為期兩周的sprint時，這種情況會多快失控。結果是，Jira的基本功能，如報告、搜索操作和提前輸入功能都陷入了困境。

Tricentis qTest如何比較?

當Tricentis與Tricentis qTest和Jira構建集成時，我們希望確保集成的構建符合執行高級測試自動化的團隊的需求。所以我們自己做了一些負載和性能測試，以確保我們的集成不會對Jira用戶產生負麵影響。

因為Tricentis qTest不依賴Jira數據庫或數據結構來存儲數據，它對Jira係統的唯一影響是:

1. 當一個問題被更新時，一個webhook被用來通知qTest這個變化
2. 在查看問題時，Jira還加載了相關qTest測試數據的視圖

我們測試了Jira的各種設置，包括Jira數據中心、Jira服務器和Jira雲。以下是我們的結果示例:

• 總的來說，我們沒有發現顯示或保存Jira問題的明顯放緩
  • 從“分屏視圖頁麵”加載額外的測試結果數據大約需要200-300ms。
  • 在全屏“詳細問題頁麵”上顯示測試結果數據平均需要600毫秒
• 在Jira報告、儀表板、搜索、api等方麵沒有出現任何放緩。

我們使用Tricentis Flood對我們的測試進行了三輪抽樣，然後對結果取平均值。下麵是一輪性能測試的示例，以及在三輪測試中收集的響應時間的摘要。

激活和未激活qTest集成時的響應時間摘要:

Jira測試管理應用程序還缺乏哪些企業功能?

除了支持大規模敏捷測試的能力之外，在DevOps管道中與測試相關的一些需求是Jira測試管理應用無法提供的——從細粒度的用戶和項目管理，到高級報告和分析，再到將質量嵌入整個軟件交付管道的靈活集成選項。組織範圍的轉換需要企業級測試管理工具的性能、可靠性和可伸縮性。

考慮以下限製:

有限的集成選項

這些測試管理應用程序通常隻提供一種集成方法。這些通常是付費插件(如《Zephyr Zapi》)。這種靈活性的缺乏使得將測試工具棧集成到軟件交付管道的其餘部分變得更加困難，極大地限製了在高度集成的DevOps環境中測試的有效性。

Tricentis qTest提供了與Jira、Confluence、Tricentis Tosca、JUnit、Tricentis Flood、Postman、CA敏捷中心、VersionOne等領先工具的現成集成，並為測試人員提供了多種集成選項，包括api和sdk、專用的測試自動化管理工具以及與Jenkins和Bamboo的CI管道集成。

有限的報告和分析

如果您正在嚐試轉換測試，那麼報告您的進度是必須的。通常情況下，選擇Tricentis qTest的客戶所做的不僅僅是購買一個工具。他們正在改變他們的質量方法，以支持敏捷開發、DevOps交付和數字化轉型計劃。高級報告功能對於演示您的投資回報和跟蹤單個項目和整個組織的質量改進至關重要。Jira測試管理應用程序通常缺乏執行級報告和跨產品報告功能，這使得研發團隊和業務涉眾很難獲得他們需要的可見性。

Tricentis Reporting提供了易於使用的界麵，讓您可以跨測試工具和框架跟蹤項目、團隊或組織級別的質量。使用Tricentis Reporting，測試人員可以報告Jira工件，例如在Tricentis qTest中鏈接的項目的需求和缺陷。

有限的企業特性

Tricentis qTest提供了這些測試管理應用程序所缺乏的企業級管理和管理功能，這對於在企業環境中進行高級測試實踐是至關重要的。這些包括:

• 高級用戶管理，包括用戶、組和項目管理、單點登錄集成和基於角色的權限
• 能夠創建項目模板
• 參數化測試數據
• 嵌入式測試用例
• 版本控製
• 測試案例分享
• 電子支持
• 事件驅動方法(與所有現代企業級工具一樣)
• 一個專門的數據庫(不是Jira的)，除了Tricentis的qTest水平可擴展的雲或在前提下提供的服務，意味著Tricentis qTest可以輕鬆地支持擴展到10,000+的用戶和數百萬的測試用例和執行

有限的支持

測試管理應用程序對於執行輕量級、主要是手工測試的團隊來說是一個很好的解決方案——Atlassian推薦它們用於這個用例。但是跨敏捷團隊的多個項目的大型組織將需要一個專門的測試管理應用程序，該應用程序能夠提供專門的支持。

Tricentis的主要關注點是支持大規模數字轉換的現代軟件測試解決方案。我們是客戶轉型計劃的合作夥伴，而不是在你家門口扔下工具的供應商。Tricentis專用的支持團隊提供實施方麵的協助、持續支持、帶有視頻培訓的強大知識庫、訪問社區論壇等。要了解更多關於三季蟲的知識，訪問該網站或與我們聯絡請求一個演示．