Testin總裁徐琨

［釘科技報道］移動互聯(lián)網(wǎng)的“跳躍式”發(fā)展，使得近兩年來，在包括手游、社交、電商等細分領域的創(chuàng)業(yè)團隊開始進入“獲利”階段，然而，“野蠻生長”的紅利期逐漸過去，行業(yè)成熟帶來的競爭加劇和用戶增長瓶頸也使得產(chǎn)品運營進一步轉向精細化。

與此同時，移動應用測試也從之前的相對溫和期進入快速發(fā)展階段。在這種形勢下，作為移動應用云測試市場先頭部隊的Testin云測，隨著自己的B端用戶“同步”展開精細化運營，以“讓App好用”為“小目標”，上線Bug探索業(yè)務，業(yè)務目前已經(jīng)升級至2.0版本。

解決Bug的“最后一公里”

成立于2011年，作為全球首家推出基于真機測試實驗室及自動化技術的“云測試”服務平臺，Testin產(chǎn)品包含兼容測試、功能測試、壓力測試、安全測試、A/B 測試、體驗測試、崩潰分析以及移動應用發(fā)布后持續(xù)的質(zhì)量監(jiān)控。涵蓋包括App開發(fā)、發(fā)布、分析等所有環(huán)節(jié)以及眾包測試、性能管理等多領域，實現(xiàn)應用生命周期持續(xù)迭代的一站式測試服務，正是其精細化運營的體現(xiàn)。

Testin將常規(guī)測試之外的探索性測試做為了一塊業(yè)務，其目的在于“發(fā)現(xiàn)意想不到的Bug”，因此將這塊業(yè)務命名為“Bug探索”。在相應服務上線時，Testin也曾提出過“解決Bug‘最后一公里’”的概念。

據(jù)總裁徐琨介紹，Bug探索的意義和作用，有如下幾個方面：

1.讓測試工作脫離常規(guī)用例，深度挖掘應用中不易被發(fā)現(xiàn)的Bug，確保產(chǎn)品質(zhì)量穩(wěn)定，提升產(chǎn)品體驗；

2.多人大面積驗證核心功能，通過發(fā)散性測試，模擬各種異常場景和極端測試方法，找出各類潛在問題和風險；

3.Bug探索能夠?qū)ug進行等級管理，對于發(fā)現(xiàn)的問題提供詳細的問題描述，包含問題日志、截圖、視頻等信息，幫助研發(fā)人員快速解決并修復問題。  

測試專家版“大家來找茬”

Bug探索，以眾測模式展開，跳開“用例測試”對測試路徑的規(guī)劃和結果的預期，尋找更多隨機甚至是小概率的可能性，作為探索性測試，更像是“大家來找茬”，不同之處在于，這是一場由專業(yè)的測試團隊，有目標有體系，共同參與的“大家來找茬”。

Testin在業(yè)內(nèi)能夠率先上線Bug探索業(yè)務，其優(yōu)勢之一，就體現(xiàn)在“大家”上，當然，這里所說的“大家”，不僅僅是指“人”：

首先是測試專家群體。近16萬，這是Testin總裁徐琨給出的Testin平臺上專業(yè)測試人員的數(shù)量，這些專業(yè)的測試人員被根據(jù)不同應用分為50多個大類，每個大類又分為若干大組，每個大組的人數(shù)都在3000至20000的區(qū)間內(nèi)，人員在組別間會有交叉。人數(shù)，首先保證了Testin能夠適應多應用的探索性測試，同時能對大型應用進行深度“窮舉”；分組，則使得人員對接更加精確。另外，也可以解決App在不同地域、不同環(huán)境下使用的問題。

其次是數(shù)據(jù)量的積累。服務80萬開發(fā)者，完成對200萬App累計1.5億次的測試，提供給市面上80%的App專業(yè)測試服務，使得Testin積累下大量測試經(jīng)驗數(shù)據(jù)。幫助Testin訓練自己的機器學習模型，將人工智能技術加入到測試環(huán)節(jié)，提升測試效率只是一個方面，此外，也可以幫助平臺上的測試人員完善認知。

借助Bug探索，不少有著相當大用戶和潛在用戶量的應用得以完善。例如，在國內(nèi)最早涉足手機直播的“趣播”，應用的社交屬性伴隨著巨大的用戶想象空間，作為創(chuàng)業(yè)團隊，“各地不同的網(wǎng)絡環(huán)境”以及“不同型號安卓手機的兼容性”成了測試的主要難點；有著大量學員的新東方在線，遇到的也是這方面的問題。而Testin，正是通過Bug探索，幫助客戶解決了這些問題。

“破窗而入”，發(fā)現(xiàn)意想不到的Bug

模擬真實用戶角度，結合團隊測試經(jīng)驗，最大限度探索用戶使用習慣和路徑，探索復雜操作流程；真實模擬異常應用場景及系統(tǒng)特有功能，確保主要功能使用流暢，避免影響用戶體驗的問題，發(fā)現(xiàn)研發(fā)人員不易發(fā)覺的Bug，這是Bug探索的目標。因此，測試軟件功能在異常場景下（或者相對的“小概率”場景下）操作是否正常，就成了Bug探索的主要工作模式。測試人員在這個過程中，會采用等價類測試方法、邊界值測試方法、錯誤推測法、取消測試方法、逆向測試方法、錯序測試法等測試方法。

相對于標準測試，Bug探索更需要的是“打破常規(guī)”。徐琨這樣描述他本人對于Bug探索的看法，如果把App測試看成一個進入房間的過程，標準測試是按一般思路從門進入，Bug探索要做的，可能是“破窗”，也可能是“挖掘地下通路”，總之，就是要盡可能嘗試“進門”之外的其它各種路徑。

以登錄應用為例：標準測試一般只需要驗證用正常的11位手機號碼和密碼登錄應用時，App反應是否正常，而在Bug探索中，為驗證App反應是否正常同時為探知此前不容易發(fā)現(xiàn)的問題或漏洞，測試人員就有可能輸入一個非標準的登錄號碼，比如其位數(shù)只有個位，甚至不輸入或者輸入一個負數(shù)。

Bug探索由相關應用領域經(jīng)驗豐富的專家?guī)F隊參與探索性測試，提供15/50/100/200人四檔模式。在進行一輪探索后，客戶方修改發(fā)現(xiàn)的bug并轉給Testin回歸修改的bug，測試專家根據(jù)需求再發(fā)出探索任務。

“Uber模式”，規(guī)范測試操作流程

Bug探索采用的運營模式，整體看來與網(wǎng)約車類似，很像滴滴或者Uber，甚至也可以算是一種近似于時下頗為火熱的共享單車的一種“共享經(jīng)濟”形式。
采用這種模式，對于Testin而言，主要有兩方面考慮：首先，在“人工智能”尚不成熟的階段，能夠真正理解用戶體驗和需求的，依舊是人本身；其次，更多的測試者才能更好滿足用戶需求，而作為創(chuàng)業(yè)團隊，人員一定是有限的。

Bug探索最初的模式是由Testin發(fā)布任務，由眾測平臺上的測試人員搶單，完成任務后領取報酬。當然，應用測試相比網(wǎng)約車更為復雜，還要包括比較細致的“測試后”工作，主要是將數(shù)據(jù)進行整合、清理、分析、形成報告。

Bug探索2.0版本，目前已經(jīng)迭代上線，相比初始版，主要是在測試者的運營管理層面更為精細化，整體上是對測試團隊、測試流程和標準的進一步規(guī)范：

1.架構測試者評價系統(tǒng)，對測試任務評級，對測試結果打分，對測試人員進行系統(tǒng)性分類，配合精確的篩選機制；

2.產(chǎn)品形態(tài)升級，主要是測試報告可讀性的增強，從而增強測試后用戶方面的可操作性，例如對Bug的等級劃分，對數(shù)據(jù)進行更細分的模塊化管理，完整提供測試過程記錄等等；

3.提供訂制服務，從而滿足不同客戶或者客戶在不同產(chǎn)品階段的需求。

另外，Testin 交付質(zhì)量小組會對每次測試任務進行考核，并為測試專家打分，累計兩次考核不合格者將取消其專家資格；Testin 平臺會收集測試專家反饋，定期清理測試能力不達標或表現(xiàn)較差的測試者，保證每一次測試的交付質(zhì)量。

現(xiàn)在的Testin，業(yè)務已經(jīng)從App領域，向移動頁面、公眾號、小程序、智能硬件等方面擴展，其頗為感興趣的兩個領域是人工智能和萬物互聯(lián)，特別是后者，將會給軟件測試領域首先帶來新的增長點。可以想到的是，Bug探索的產(chǎn)品模式，依舊會是Testin切入相關市場的“前鋒”。