DevOps已經撼動了應用開發世界，已經被無數追求持續交付有價值軟件的組織所采用。由於持續交付需要持續保持警惕，以保持交付質量與速度之間的微妙平衡，這必然是破壞性的，而測試在受影響最嚴重的部門中排名非常靠前。事實上，測試經常被認為是導致DevOps延遲的首要原因，而且對於48%的DevOps團隊來說，缺陷仍然是一個主要問題。
在過去的13年裏，DevOps已經培養了一大批DevOps專家。我們最近在DevOps Unbound係列中舉辦了7場討論在DevOps中測試的現實作為每月圓桌會議的一部分:
這次圓桌會議分享的觀點範圍很廣。在這個博客中，我們展示了他們的貢獻之間的關鍵相似之處，盡管小組成員的背景各異，但他們的貢獻仍然相當一致。以亞當在戴爾大規模推行敏捷為例，他堅定地認同希拉裏·韋弗(Hilary Weaver)推崇的質量第一原則——盡管希拉裏在一個8人的小團隊中擔任高級軟件工程師，與之完全不同。
DevOps要求質量第一的心態
我們的專家都同意這樣一個事實，成功的DevOps從軟件交付周期的開始就關注於質量交付，而不是在最後添加“測試”。這種轉變產生了奇跡，確保測試不再是“DevOps的替罪羊”，就像Alan說的那樣。
希拉裏敦促組織把質量作為首要目標，她認識到許多領導者把質量放在次要位置，“先發布，再擔心質量”，從而犯了錯誤。阿貝爾說，一旦你意識到質量應該占據首位，就要準備好把錢花在刀刃上。在很少有人知道單元測試是什麼之前，微軟就已經準備好為質量付出代價，這讓他們在隨後的數字化轉型中處於有利地位——包括在他們的產品套件中進行雲遷移。亞當指出，把一個bug放到雲端，所有人都能看到，質量(或缺乏質量)從未如此暴露過。
"你不能讓主觀性自動化"
雖然DevOps對交付速度的追求無疑引發了一波測試自動化浪潮，但Hilary和Miriam首先建議不要將所有測試全部自動化。不要忘記，探索性和可用性測試對於在飛行中捕捉意想不到的曲線球至關重要;手動測試人員仍然有他們的位置。至少在目前，在與用戶體驗相關的大多數方麵，您的人力資源比您的係統更聰明。
Adam讚同Hilary和Miriam的觀點，主張手動測試來真正地增加係統的壓力，並捕捉在紙上有意義但在實踐中沒有意義的元素。他有力地提醒道，軟件工程不是一場競賽，這為專注於帶來價值而不僅僅是速度的測試創造了喘息空間。
Abel分享了這樣一個事實:“自動化UI測試可能非常脆弱，尤其是當你開始處理像微服務這樣的現代架構時。你擁有的依賴層越多，你的測試就會變得越脆弱……以至於我們不再運行完整的端到端自動化UI測試。”在Abel在微軟工作的7年多時間裏，他從來沒有看到他們所有的自動化UI測試變成綠色的——這是戰略上實施它們的有力證據。
不要跳過單元測試和功能測試
在測試自動化是它得到了我們專家的一致認可——他們的單元和功能測試極大地增強了信心。Adam和Abel都使用了一種基於依賴層的測試排名係統，Abel也分享了他們在微軟不依賴的純單元測試的比率是28000，隻是為了簽入代碼。
Adam指出，通過向左轉，戴爾的DevOps方法讓他們能夠在早期嚐試不同類型的測試，灌輸他們在每個版本中都在改進測試組合的信念。果然，“名義上的單元測試和功能測試占據了大量的自動化測試。”
"你必須超越工具"
每一個成功的DevOps項目都共享有效的協作和公共所有權，每個人都被分配適當的角色，並對他們在結果中的利益負責。Tricentis的克林特觀察到:
“很多時候我們都非常關注‘我們應該使用什麼工具來解決測試中的這個問題?“然而，一旦我們了解了我們擁有的人，他們的優勢是什麼，然後我們可以決定需要什麼工具或解決方案來增強我們的流程。”
Adam對此非常讚同，他認為比起過程和工具，這一切都是關於人員和交互的。在DevOps範例中，測試人員和開發人員之間的對話不僅是絕對關鍵的，他們還需要與團隊中正確的人進行對話。Hilary強調了將測試作為至少一名專家的唯一關注點的重要性，她是團隊中的測試主題專家。不要隻雇傭那些投入20%時間在測試上的開發人員，因為他們沒有足夠的能力去解決關鍵的修複或質量問題。
我們都很熟悉術語“產品路線圖”，但是您是否考慮過實現團隊路線圖?Mitch建議用它來評估您作為一個團隊如何計劃成熟和發展，並與您的測試策略並行工作。
DevOps工具中的ML和AI:我們隻觸及了表麵
盡管人工智能和測試自動化仍處於初級階段，但我們的一些專家已經開始嚐試，並對其能力感到興奮。Abel使用Applitools(遊戲邦注:它集成了Tricentis Tosca和qTest)，在最初的質疑之後，他現在認為它“非常棒”，Hilary也給予了好評。他們都認為它的視覺回歸功能是智能的，而像素逐像素的比較工具通常都不夠。
Clint表示，我們看到的是讓測試變得盡可能簡單的發展，這是Tricentis AI和ML解決方案(如Vision AI和LiveCompare)背後的關鍵動機之一。
旁注:Tricentis的AI和ML副總裁Dave Colwell對此表示讚同，最近在《轉型10分鍾》播客上分享了支持未來版本的目標是讓測試人員更容易地完成他們的工作。
在DevOps中測試的真實情況-完整的圓桌會議可按需提供
Hilary非常感謝這7位專家的幸運，因為他們都來自於真正在測試自動化方麵投入了時間和精力的組織，這使得這次討論在DevOps上測試的現實立場上非常引人注目。他們分享他們的奮鬥和成功，所以完整的圓桌會議值得一看如果隻是為了避免同樣的——往往代價高昂的——錯誤就好了。