DevOps的——一個新的視頻/播客係列主持DevOps.com和由Tricentis——已經突飛猛進今年夏天推出以來。12月1日,我們有38個客人(不包括我們兩個傑出的主機)在七集和四個圓桌會議。
本係列開始討論測試的動態組合格裏戈裏·Melnik博士和詹姆斯·巴赫。然後我們鴿子AppSec, SAP,開源的,應用程序現代化、大型機、外包、領先的轉換,和可用性/可訪問性速度-所有DevOps的上下文中,當然可以。你可以抓住任何一集,播客,或圓桌會議你錯過了DevOps的門戶。
對於最新的圓桌會議,我們回到我們開始的地方:測試。這一次,是關注的現實測試DevOps。測試通常被視為DevOps延誤的主要來源——和缺陷仍然是48%的DevOps團隊的一個主要問題。我們接近測試錯了嗎?我們未能規模和/或加速企業DevOps正確嗎?我們需要重新思考我們的整體測試目標,還是我們隻需要找到更好的辦法來實現他們?
我們收集了一個全明星小組的發展,QA, DevOps, SDET領導人分享不同的觀點我們今天麵臨的挑戰和如何解決這些問題。客人名單包括米裏亞姆Makshanoff(高級QA工程師- Calendly),亞伯王(主要雲倡導者和DevOps鉛-微軟),亞當Arakelian(主管工程-戴爾研究小組),克林特Sprauve(產品營銷總監- Tricentis),希拉裏Weaver-Robb(老的軟件工程師在測試)。
這是一個有趣和生動的麵板中,有很多偉大的聽眾的提問和評論。
隻有一個問題:有太多的問題需要回答的60分鍾。幸運的是,我們的兩個成員,米利暗Makshanoff和希拉裏Weaver-Robb這裏,自願回答。
你承擔業務分析師也QA測試人員嗎?
米利暗Makshanoff:當然可以有很多重疊業務分析師和QA測試人員。很難說,業務分析師堅決不應該QA測試人員,因為每個組織都是不同的,沒有一個放之四海而皆準的方法。但是,我認為,在DevOps的世界中,業務分析人員接管這個角色完全將意味著1)一個明確的和不必要的瓶頸或2)一定程度的測試是失蹤的過程。是有原因的QA DevOps團隊過程中存在的需要。需要有一個角色,主要集中於所有的我們應該采用不同的測試策略。與所有其他責任業務分析師,他們可以把時間不太可能需要對探索性測試,性能測試,自動化測試,等等。
什麼樣的dev /團隊測試方法適合DevOps嗎?TDD和BDD /其他嗎?
希拉裏Weaver-Robb:我認為以上適合,隻要你不是在瀑布環境中,和開發人員添加單元測試在某種程度上,你可以添加其他自動化測試。例如,我的團隊不使用TDD和BDD——開發人員將編寫單元測試代碼後,我會開始自動化功能當他們開始工作。我們去生產,我們有單元測試,我們有功能自動化測試,這是探索性測試。
DevOps的期望讓你部署代碼每天或甚至一天幾次,手動/探索性測試什麼時候發生的?
米利暗Makshanoff:我不會說解決方案所有組織,但根據我的經驗,最有效的方式來完成這是1)專注於測試較小的代碼變更和授權QA工具來測試這些在自己獨特的環境(認為許多不同的低水平環境中,一個用於每個更小的代碼更改),和2)利用特征標誌。手工測試應該發生,在某種程度上,每個代碼更改;也許這不是一個完整的回歸測試,而是一個有針對性的測試發生在自動化測試錯過了什麼。探索性測試可以很容易完成pre-prod或集成級別環境特征標誌控製功能從打破一個生產經驗。
可以測試的不同方麵(如功能、性能、安全測試等)融入一個塊當組織放入一個“自動化”議程?或硬界限這些方麵會繼續存在嗎?
希拉裏Weaver-Robb:我認為你還是有堅硬的邊界。性能和安全測試是專門化在很多組織中,可能有自己的工具和過程。我認為需要自動化這些領域的某些方麵,但你不能完全自動化好的安全測試,例如。喜歡與任何測試,我覺得你還是需要一些手工工作。
什麼方式你看過最好的測試人員增加價值DevOps的方法嗎?
米利暗Makshanoff:測試人員可以以多種方式增加價值的DevOps環境。自動化來自開發就可以有其缺點,它可以大量開發人員獨自承擔。這是一個巨大的一部分,QA可以進來並發揮作用,經常使用更好的理解用例,自動時提供最大的價值。探索性測試是一個大的。開發人員通常將很難改變他們的心態從代碼和開發功能規格,試圖打破他們的特性。同時,倡導質量在所有部門和角色是關鍵。在產品質量不能單獨來自QA,但當QA有很強的聲音在產品的質量,流程,和疼痛點,每個人都贏了。
在一個敏捷/ DevOps的世界裏,理想的測試資源模型是什麼?
希拉裏Weaver-Robb:我認為你問多少測試人員應該在敏捷/ DevOps團隊,這是主觀的。我隻測試一組10(8開發者1阿寶,我自己),和我蓋4個項目在開發人員。但是我的開發人員編寫單元測試和幫助自動化等所以我不是唯一一個編寫這些測試以及做探索性測試。所以,像許多這些問題的答案,視情況而定