價值上億的線上實驗

羅恩．科哈維 Ron Kohavi

史蒂芬．湯克 Stefan Thomke

在快速發展的數位世界裡，連專家都覺得評估新構想相當困難。舉個例子：微軟一名在搜尋引擎 Bing 任職的員工，提議小幅修改廣告標題呈現的方式，但主管認為該構想沒有迫切性，因此擱置多月，直到一名工程師決定做一個簡單的線上對照實驗，也就是 AB 測試，來評估這個構想的影響。實驗顯示，這個構想提高營收的幅度達到驚人的 12％。結果它成為歷來替 Bing 創造最多收入的構想，價值高達一億美元。

微軟分析與實驗團隊主管科哈維與哈佛商學院教授湯克指出，這個例子說明「實驗一切事物」的做法，為什麼這麼重要。在本文中，他們說明如何適當設計和執行 AB 測試和其他對照實驗，確保實驗的健全性，解讀實驗結果，以及避開各種陷阱。他們指出，一家公司若能建立適當的實驗基礎設施和軟體，不但可以評估改善網站的構想，還能評估商業模式、策略、產品和行銷方案等的構想，耗費的相關成本也不高。這種實驗能力有助於找到正確的方向，尤其在問題並無確定答案，或是各人意見相左的時候，更見功效。

來源：《哈佛商業評論》 2017 年 9 月

更多精彩內容請至 《哈佛商業評論》