在過去的十年中，軟件測試人員在測試自動化方麵取得了巨大的進步，但是仍然存在一些困擾:
- 測試需要向左移動，但是UI測試自動化需要一個完整(且穩定)的UI
- 非常新的/舊的/專門的技術不受支持或需要大量定製
- 無法使用虛擬和遠程應用程序
- 即使是高彈性測試也需要偶爾的關注和更新
- 應用現代化=測試不穩定
輸入視覺人工智能，這是特裏森提斯的最新發明。
視覺AI是下一代自動化:深度學習驅動的自動化，可以像人類一樣看到和使用UI。通過使用各種人工智能和機器學習策略來模擬人類行為——例如，深度卷積神經網絡與高級啟發式相結合——以交付穩定的、自修複的、平台無關的UI自動化。
從測試人員的角度來看，您提供執行什麼操作的自然語言描述，引擎將其轉換為適當的UI交互。UI元素的標識是基於它們的外觀，而不是它們的技術屬性。如果重新設計了某些UI元素，或者使用新技術重新實現了整個應用程序，這一點都不重要。就像人類一樣，自動化會簡單地發現並適應它。
看看引擎蓋下麵
Tricentis Vision AI利用智能對象檢測技術來識別UI元素。這種方法在軟件測試中是新的，但它被特斯拉等公司用於檢測自動駕駛汽車的物體(其他汽車、行人、標誌、紅綠燈、樹木等)。
在這一點上，你可能會想:為什麼我們要把自動駕駛汽車的技術應用到自動化測試中?速度和準確性。自動駕駛汽車必須實時準確地識別物體。任何延誤都將導致事故，甚至可能導致生命損失。風險可能不是那對於測試自動化目的來說很高，但是實時精度仍然是關鍵。在DevOps和CI/CD的世界裏，緩慢的自動化是無法生存的。到目前為止，UI自動化工具平均每秒隻能處理1.8幀。相比之下，人類可以處理24。視覺AI使用智能目標檢測，每秒處理40幀。現在有意義嗎?
因此，我們采用了智能物體檢測技術，並將其用於檢測控件和理解用戶界麵。它不需要尋找行人、標誌和紅綠燈，而是可以找到下拉菜單、表格、列表或菜單——任何人類能夠識別的控件。
但檢測控製器隻是挑戰的一部分。我們還需要實時閱讀屏幕。這就是OCR(光學字符識別)的用武之地。OCR已經存在了20多年，但它的速度仍然不是很快。即使是由行業巨頭開發的OCR也需要秒讀取屏幕，但是像人類一樣導航ui需要實時的字符識別來做出反應毫秒．這就是為什麼我們發明了一種全新的由人工智能驅動的光學字符識別。
有了這些技術，我們可以快速地看到和理解用戶界麵。下麵是如何在ServiceNow應用程序上運行的快速瀏覽:
但是，測試自動化和自動駕駛汽車一樣，僅僅看到和理解事情是不夠的。你還需要開車。Vision AI從未打算成為一個"測試自動化工具，而是一個“測試自動化引擎”。因此，它需要集成到一些能夠提供核心功能的東西中，比如測試數據管理和測試用例設計。你可以將願景AI視為強化現有工具套件的工具，而不是需要全新的工具集。有了這個附加的智能層，你的自動化就足夠聰明，可以處理絕大多數UI更改——這些更改不可避免地會讓傳統自動化出錯，但不會讓人類三思。
視覺AI非常聰明，因為它已經“訓練”了9M的控製和超過12M個例子。但是，和人類一樣，它有時也會犯錯誤——尤其是當它麵臨以前從未遇到過的情況時。在這種情況下，它做了你希望一個理智的人會做的事:從錯誤中學習。視覺AI有兩種學習方式:向Tricentis學習(在有監督的訓練課程中)和向Tricentis學習你．視覺人工智能提供了一個能力，你教它在飛行。你為培訓提供的數據會立即更新我們的邏輯，教學你的人工智能更聰明。您還可以選擇將這些數據發送給Tricentis，使整個解決方案更加智能。我們相信數據隱私的選擇模式，所以除非您明確許可，否則您的數據不會與Tricentis共享。
很有趣……但是對測試人員和測試來說真正的價值是什麼?
這可能不是你第一次聽到有人談論“軟件測試中的AI”。但是這裏有一些第一次為你的軟件測試實踐增加了真正的價值:
您甚至可以在UI存在之前就構建UI自動化
您可以在UI存在之前構建自動化。Vision AI可以使用一個簡單的定義——比如文本需求定義、模型，甚至是白板圖——並基於它構建一個運行的自動化案例。通過這個“左移”，sprint中的UI測試自動化終於觸手可及了．
您的測試可以承受應用程序現代化
當你升級你的應用程序時，Vision AI的自動化不會中斷。我說的不是一個小的升級，比如你改變了一些技術id之類的。我說的是相當重大的升級，比如從一種技術轉移到另一種技術，或者把JavaScript庫從舊的jQuery UI升級到新的Angular Material Design。
Citrix嗎?定製嗎?舊技術嗎?新技術嗎?沒有問題。
如果你能看到它，視覺人工智能可以自動處理它。視覺AI的工作任何視覺界麵。因為它使用了技術連接的可視化界麵，它可以通過Citrix這樣的東西工作，也可以在遠程桌麵上工作。它甚至可以在你沒有連接到你正在看的機器時工作(例如，你通過RDP接口看它)。它使用的接口使用的技術已經不再可用了——比如過時/不讚成使用的版本古普塔，Silverlight,閃光(我們知道它們不時髦，但它們今天仍然在世界上流行)。它還適用於(大多數)自動化工具還不支持的新技術:例如，顫振，Blazor,電子．
很簡單，你奶奶都會做
有了Vision AI，測試自動化非常非常容易。事實上，我們這個項目的指導原則之一就是“如此簡單，你的祖母都能做到。”因為視覺AI與人類看待界麵的方式相同，所以你可以像向另一個人類描述它一樣定義自動化。例如:
點擊“Apply Now”按鈕。
在“名字”字段中輸入“David”。
在“姓氏”字段中輸入“Colwell”。
從“國家”下拉列表中選擇“澳大利亞”。
.．.
但是，正如測試人員所知道的，測試自動化的真正痛苦在於維護:更改xpath、處理動態id……可能不是您的祖母想要處理的事情。使用我們的自愈執行，不需要繁瑣的技術調整。
願景AI:眼見為實
我知道，光說不練。這裏有一些具體的例子，可以證明我們如何真正實現我上麵提到的四個好處。
這裏有一個有趣的小蒙太奇，甚至更多的事情，視覺AI可以做…
準備好了嗎?視覺AI與現有的測試執行平台一起工作，例如:
- Tricentis Tosca(現在公開預覽+ 11月30日正式上線)
- Tricentis qt(β)
- Visual Studio代碼(alpha)
換句話說，《Tricentis Tosca》的用戶很容易獲得它，但你並不需要Tosca才能從視覺AI中受益。
我和我的團隊很樂意為您提供這次體驗;隻是聯係我們我們將帶領您走向測試自動化的下一個時代。當你開始探索視覺AI時，請記住，你真誠的反饋對這一重大新技術的進步非常有價值。如果你發現了你認為我們的人工智能可以更聰明的領域，或者看到了新的適應機會，請告訴我們!
想了解更多關於Vision AI的知識，觀看本次會議演示．