“需要幾名參試者”，相信凡是做過可用性測試的人來説都會遇到這個問題。由於出發點不同，團隊中的不同人員，例如産品經理，項目經理，可用性工程師，技術開發人員等在這個問題上會有不同的看法。面對這樣的討論，不少從業者感覺自己是對的，要説服對方時卻又沒有把握、缺乏底氣。這篇文章的目的就在於嘗試幫助理清可用性測試的幾個基本問題，以便“幾個用戶”類似問題的解決，更加靈活地運用可用性測試方法。

    可用性測試的屬性 ——

    可用性測試是要發現問題

    可用性測試，故名思議是評估（測試）設計方案或者産品的可用性水準。目前最常用的評估可用性水準的指標有：用戶在沒有幫助的情況下完成任務的比例，完成任務所用的時間，用戶尋求幫助的次數等等。這些指標對於描述可用性水準有益處，但卻不是重點。可用性測試的更重要的成果是從可用性工程學的角度來支援這些數據，也就是發現並指出産品或者設計方案中存在的可用性問題──當然也包含優點。可以説在大多的項目中，特別是在迭代反覆的産品開發流程中，可用性測試的根本目的是發現問題並解決它，從而提高産品的可用性水準。從Nielson的這張“經典”的用戶與發現可用性問題數量關係的圖表中，你可以得到這樣的體會：“5名用戶的測試可以發現85%的可用性問題”──請暫時忽略這裡的具體數據，而關注並且記住這句話的主幹：“測試發現問題”。

    可用性測試是定性研究

    絕大多數的可用性測試都是定性研究而不是定量研究。熟悉統計學的人都清楚，定量研究需要相當大的樣本量才能達到一定的信度和效度。根據Nielson最近的一篇文章，要做定量的可用性測試研究，每個用戶類型至少需要有20名用戶 。這對於一般的測試項目來説成本太大以致無法承受。雖然有部分定量的可用性研究，但就我們目前所從事的大多可用性測試來説都是定性研究。也就是説絕大多數情況下，我們得到的只是描述性的結論，而那些嘗試將測試結果推論到整個用戶群體的想法都是不切實際的，徒勞的， 錯誤的。

    可用性測試不是萬能的

    可用性測試是找可用性問題的方法，所以可用性測試非常適合於發現設計方案、産品中存在哪些可用性問題，並幫助解決它。這個優點，特別對於迭代式的産品開發流程來説，非常有效，經過測試－改進－再測試的幾個週期，可以顯著地提高産品的可用性水準。

    但是，如果你的項目經理希望通過這個測試來了解這個産品有多好，上市後有多少人會喜歡或者喜歡那個特殊設計點，或者有將來有多少比例的用戶能順利完成某個操作？不，請明確告訴他，這不是可用性測試能做的。記住，可用性測試是定性研究，定性研究的樣本量得出來的結論不具備推論的效度。可用性測試中確實會有一些比例數據，但這個比例只能作為參考。

    究竟幾個人合適？ ——

    我的時間少，資源有限，三個人可以嗎？

    面臨時間短，資源有限，用戶難找等問題，是可用性從業者普遍面臨的問題。手頭的資源僅夠測試三個人，還值得去做嗎？遇到這樣問題的時候，我們往往會遲疑。回想前面提到的，可用性測試是要發現問題，解決問題。測試三個人能實現這個目的嗎？當然可以！問題已經有答案了。是的，由於可用性測試是定性研究，而且就發現問題這個角度來説，三個人的測試和六個、八個的測試僅僅是發現問題數量上的差異。我們不僅贊成，而且非常鼓勵這樣規模小，週期短的測試。

    客戶要求做十五個測試，有必要嗎？

    國內外諸多經驗，包括筆者兩年多的工作經驗中也體會到，在測試完5個用戶之後，發現重要的可用性問題的幾率，也就説測試的效率已經比較低。繼續做更多的測試，最多情況是看更多的用戶在同樣的位置出現同樣的錯誤。由於繼續做測試的産出與投入的比例比較低，我們並不推薦這樣做。

    有的人希望多測試幾個人，希望了解有多少比例的用戶會遇到特定的情況。對於這種需求，我們只能不勝其煩地解釋：可用性測試作為定性研究，不能得出這樣的推論。另外還有個很重要的問題需要考慮：發現四個人出現同樣的問題後，真的有必要知道多少比例的人會出現這個問題？問題已經在那，你需要做的是想辦法解決這個問題，而不是統計有多少人犯了這個錯！

    另外可能有人説，我們希望找到盡可能多的，甚至所有的可用性問題。首先，從投入和産出的比例來説，這是非常昂貴而不聰明的做法；另外很遺憾的説，你不可能在一輪的測試中發現所有的問題。問題存在一定的情境當中，而不是孤立、憑空地存在，有的問題會“埋藏”在另一些問題的下面。例如説，任務3必須要在用戶完成任務1之後才能做，但用戶未能順利完成任務1，此時要麼在主持人指導下完成任務1而進入任務3，或者直接跳過任務3。而這兩種方式都會影響任務3的真實情況，而錯過它存在的問題。所以，要發現任務3存在的問題，就必須先解決任務1中存在的問題。

    推薦的做法 ——

    儘早開展測試，不要擔心測試的人數太少而放棄寶貴的機會。記住，你要做的是發現最重要的可用性問題並且解決它，測試三個人可以發現可用性問題嗎？可以，那就去做吧，你會有意想不到的收穫。

    客戶／領導要求做大數量的測試？如果明確測試的目的是要發現産品中存在的問題，而不是要進行定量分析，那麼你應該説服他們採取少人多輪的方式來進行，這樣的做法最經濟而且效果最好。

    參考書目：

    １《When to test and when to hold off》 by Ellen Tauber, Julie Stanford and Laura Klein