Designing with Data - 第二章 運用數據的基礎

前言

最近我在讀 Designing with Data｜善用數據幫你打造好設計 這本書，因此有一系列的記錄，想直接參考這系列所有文章請看系列文連結。

章節簡介

這一章節介紹試驗的基本原則，並深入介紹 A/B Test 的字彙及概念。

數據的多樣性

正式收集數據之前，要問自己以下問題：

• 為什麼要收集數據？
• 在什麼時候收集數據？
• 如何收集數據？
• 收集多少數據？

為什麼要收集數據？

收集數據通常有兩種目的：

• 想了解使用者行為
• 想了解使用者的態度、期待及感受

想了解使用者行為

試想一個情況，當自家產品加入新功能，而我們想知道使用者是否有發現它？使用者是怎麼使用這個功能？

若想了解這類的問題，都是屬於想了解使用者行為的部分。

想了解使用者的態度、期待

如果我們想知道的是使用者對於新功能的態度或期待是什麼？使用者是否在使用新功能時感受到焦慮或煩躁？

當我們想知道使用者的感受時，可藉由收集態度數據來幫助我們了解。

但是收集態度數據時，較容易得到帶有社會期許偏誤的數據，要想辦法避免收集到偏誤的數據。

在什麼時候收集數據？

• 縱貫性數據：花較長的時間收集數據，可以了解使用者在這段時間如何改變、適應及學習。
• 快照數據：觀察使用者與產品互動的一瞬間。

另外可考慮分別在安靜的環境及吵雜的環境收集數據，例如模擬使用者在搭乘大眾交通工具時使用產品的情形。

如何收集數據？

調節數據（moderated data）

這類數據通常透過訪談收集，過程中訪談者會詢問並觀察，如果受訪者表達出疑問或是有趣的反應，訪談者就可進一步追問，因此可釐清受訪者進行某項行為的原因。

無調節數據（unmoderated data）

通常由問券收集，收集這種數據需要更多事前的調查，因為沒人可以在使用者對題目產生困惑時協助，所以設計題目時必須避免偏誤。

收集多少數據？

根據 NNG (Nielsen Norman Group) 的研究（下圖），只要研究五個使用者就可以找到 85% 以上的議題。

但是書裡仍提醒，在做某些類型的小樣本研究時，發現的結果不見得適用於每個人身上。

試驗的基礎

書中提到，其實我們每個人在日常中常常會實行 試驗（test）。

例如烤布朗尼本來用全蛋來製作，後來改用蛋白來製作，並觀察家人或朋友吃的速度是否改變，這過程包含了試驗所有的基本要素：改變、觀察以及控制組。

在設計試驗時，對於改變會帶來什麼影響，我們在事前需要做出假設或可測試的預測，接著我們要根據觀察來決定是否駁斥假設。

其實這些基礎和我們國高中時，學習自然學科的實驗方法是同樣概念的。

在專業術語上，我們改變的變因叫做自變數（independent variable），因應得到的變化是應變數（dependent variable）；另外要特別注意試驗中會產生干擾（confounds）的問題，當試驗夾雜干擾時，容易讓人搞不清楚是什麼因素造成應變數。

線上試驗

因為現在身處網路世代，所以 A/B Test 得以大量以線上試驗的方式實行。

我們可以用兩種方式切分使用者：

• 世代

  • 同一個時間段有相同體驗的使用者
  • 例如同一時期註冊產品或使用某服務

• 細分

  • 基於特徵或行為
  • 特徵例如某性別、年齡或居住地等等
  • 行為則可能是使用者像是新用戶或是專業使用者

新使用者與現有使用者

在進行 A/B Test 時，區分受試者為新用戶或是現有使用者也是非常重要的，因為現有使用者可能本來就很熟悉原有產品了，所以當產品發生改變時，這些現有使用者會有「學習效應」，也就是現有使用者需要經過一段時間的學習，才能逐漸捨去舊有的習慣，這使得試驗期間要拉長，才能量測到更正確的數據。

指標

量測值是任何我們觀察得到的東西，而指標則是一個事前訂定的評估基準，同時也是前面提到的應變數。

通常我們會有個關鍵指標，這是我們商業模式觀測的重點，因此它是我們主要想改進的指標，也是評斷設計是否成功的決定因素。

舉例來說，網路購物平台（PC Home 或蝦皮）的關鍵指標就是盈利為何。

代理指標

如果無法簡易地判別設計對關鍵指標的影響，則可以利用代理指標。

例如 Coursera 這樣的線上學習平台，他們是以販賣證書為主要盈利模式，可是在使用者購買證書之前會先完成課程，這樣的模式讓量測設計如何影響指標（盈利）而花費太長的時間，因此他們用兩個更早得到的事件當作指標，一個是使用者是否有完成第一次測驗，另個是使用者是否有在不同日期來回與課程互動達到 2-3 次。

Coursera 這些代理指標和課程的完成度及購買證書有高度相關，因此可以大幅減少量測設計造成影響的時間。

決定指標

決定指標是一件很重要的事情，設計如何和指標及量測做連結取決於三件事：

• 身處在什麼樣的企業？
• 營收模式為何？
• 所處企業有多成熟？

在決定如何設計的同時，要不斷地與自身企業的商業目標做連結，設計師必須用自身對於使用者的了解來提問，並且引導如何評估設計及體驗。

假設及假設的重要性

在進行測試之前要訂定假設，之後再透過測試來驗證「假設」是否正確。

但是嚴謹地來說，「假設」是永遠無法被證實的，在哲學家 Karl Popper 的 Theory of Falsification 有知名的例證：

無論我們看過多少隻白天鵝，也無法證明所有天鵝都是白的，因為只要真的看到一隻黑天鵝，就可以顯示這個論點是假的。

我認為這部分的概念和我們國高中數學的反證法是相同的，我們無法直接證明一個理論是正確的，但我們可以藉由找到反例來證明它是錯的。

記住這個例證，避免我們過於相信某個使用者行為與指標之間的關係，當我們看到黑天鵝時就表示假設被駁斥，進而學到一次經驗。

訂定假設

假設應該是一段論述或一個主張，描述你認為在特定情形下，會發生什麼事情，假設的形式會像是這樣：

如果我們做了 X，使用者會因為 Z 而去做 Y，進而影響到指標 A。

在打造假設時，應該包含兩大要素：

• 假設要能包含你打算要做的改變，以及你認為它會帶來什麼影響。
• 清楚了解你打算從測試這個假設中學到什麼，以及相對的規劃。

執行創意 A/B Test

單純使用 A/B Test 來收集回饋往往不夠，因為 A/B Test 無法讓我們知道使用者的感受，因此本書建議 A/B Test 要和其他方法一起並行，例如使用 A/B Test 收集大量數據，同時進行使用者訪談。

心得

這一章介紹試驗／測試的基本概念，很多內容頗有既視感，因為這些核心概念都和過往學習的實驗方法相同，其實也算是一再提醒讀者，進行 A/B Test 並不難。

如果過往沒有相關經驗，可以先和團隊討論如何進行第一次的測試，之後再邊做邊改善。