Designing with Data - 第五章 執行階段

前言

最近我在讀 Designing with Data｜善用數據幫你打造好設計 這本書，因此有一系列的記錄，想直接參考這系列所有文章請看系列文連結。

章節簡介

第三章提到了試驗框架的基礎，包含定義、執行、分析三個階段，而這這一章是講解 執行階段 的內容，會專注討論如何「設計」假設，將我們定義並選擇的假設打造成試驗項目。

在開始主要內容之前，作者強調

1. 不要太快收斂到特定解決方案
2. 雖然本書將打造假設和設計假設分為兩個章節，但其實這兩個活動經常一起進行

並提到對於沒有運用過數據的設計師來說，要把數據還有 A/B Test 結合到開發流程會很有挑戰性，但設計師應該要感到被賦予更多勇氣去承擔更多風險，這樣才能進一步磨練直覺。

以學習為目標做設計

資訊產業經常使用敏捷開發，以快速迭代的方式改善產品，所以我們運用數據進行設計時應該要想成和使用者「對話」，而不是單方面輸出內容給使用者：

1. 設計心態應該是在嘗試了解我們打造的東西如何影響使用者行為，而不是專注於推出一個最終的產品體驗。
2. 我們的設計需要能夠有效代表你想要對使用者測試的概念。

如果想要找出什麼對於我們的使用者管用，就需要設計可以引發明確回應的體驗，而提供使用者各種可行且不同的解決方案是可能有辦法得到有效回應的，只要這些方案的差別是他們可以辨別的，這可讓他們清楚表達什麼對他們很重要。

用設計呈現假設

了解變數

一個測試項目只改變一個變數，這樣才能獨立並了解每個結果是受到什麼變數影響。

但是並不是每個試驗都會限制一次只改變一個變數，如果在比較大型的產品體驗這樣做，那進度就會非常緩慢。因此，取得這之間的平衡將會是一門學問。

看不到的變數

許多產品體驗是「看不到」的，像是網頁讀取速度或是個人化演算法，這些內容的改變同樣會強烈影響使用者體驗，因此身為一個設計師仍要了解這些「看不到」的內容對體驗的影響。

設計可以影響數據

設計師常常會抱怨被要求要製作超大的按鈕，以增加某個功能的流量。然而，引導使用者去使用某功能並不一定是該頁面中最重要的，也不一定「值得」這麼強烈地凸顯它。

打造設計並不是只為了「贏取」單一個測試，而是要創造給使用者平衡的整體體驗。若稍有不慎，很可能剛打造的新設計會影響到數據。

重新評估

全面與局部規模

處理問題/機會的規模或是方法分為全面與局部，全面設計讓我們有較大的機會去嘗試各種解決方案，而在以下情況下進行全面探索會比較合理：

• 團隊在發展新的空間，且我們對這個空間沒有過往的專長或經驗。
• 我們想要做較大的策略轉變，而這需要將體驗從根本改變來推行。
• 現有的產品/體驗已經靜止了很長一段時間，而我們現在可以運用新的科技，讓我們能夠嘗試過去不可能的事情。
• 團隊感到產品已經達到局部最佳狀態，而任何進一步對產品或功能的優化都無法讓表現顯著改進。

局部的設計迭代則是在過去已經找到並被使用的內容中，再次尋找可以優化體驗的解決方案，以下情況比較適合局部迭代：

• 我們想要更深入研究體驗的特定面向，或專注於優化它。
• 團隊相信現有體驗已經接近完美，而且我們還沒有到達回報減損點（註 1）。

註 1：投入於優化的成本高過企業會獲得的潛在報酬。

探索和評估階段

處理問題/機會到哪則決定我們該是在探索和評估階段，若是在探索階段則可能會有以下情境：

• 團隊剛展開一個新的長期計劃，想要開始建立對於不同可行方法的知識。
• 團隊共同決定要多花點時間探索更多方向，並花時間迭代。

若是在評估階段，則是以下狀況：

• 團隊已經對方向有共識，而且我們想知道是否有達到預期的影響。

方向性測試

在很多情況下，真的開發新功能或新服務之前，我們不會真的把功能做出來再去做測試，而是會打造一個「假門」來幫助我們了解使用者是否有這需求：

在牆上畫一扇假門，來看看有多少人試圖要打開它。這會讓你得到一些訊息，了解有多少人對這樣的功能有興趣，或許還能知道誰是潛在的受眾。

假門測試的缺點很明顯，就是對於那些非常想要使用這個功能的使用者會產生挫折。換句話說，「假門」讓團隊可取得資訊但又有疏遠這些使用者的風險。基於這個風險的存在，我們應該保持「假門」測試的群體越小越好，同時也該避免任何實際上或情緒上會傷害使用者或影響他人關係的假門測試。

為試驗選擇適當的細緻程度

如果我們是在處理一個局部問題/機會，可能會想要更進一步了解體驗中各元素的關係，通常會優化下列元素，而他們都可產出許多不同的測試項目：

• 語言
• 風格元素和視覺呈現
• 演算法測試（例如推薦內容）
• 活動流程和改變使用者路徑

要注意的是，如果我們無法快速看出兩個測試項目的差別，那使用者很可能看不出來，因此必須再次考慮這些項目是否能影響行為和指標。針對這點，我們可以善用系列特質，例如我們想測試按鈕的尺寸，可以在第一次測試時只做小和大的，來看看尺寸是否真的有差。如果大和小尺寸的按鈕真的會有不同影響，那就值得再探索更多不同尺寸的按鈕。

雖然上述元素是各自獨立的，但最終仍要注重在平衡這些元素，因為這些元素各自對使用者行為及指標可能又不同的效應。

「設計」你的假設

把每次試驗都當成磨練直覺的機會，學習判斷什麼對未來的試驗有用，以及增加自己對當下試驗的思考：

• 在開始打造解決方案並在使用者身上測試之前，清楚寫下你想要學習的東西（包括成功及失敗的情況）。
• 問自己「如果 X 成功/失敗，我接下來要進行什麼試驗？下一組體驗我要設計什麼？」

此外，若能把各種項目分類清楚，也能幫助團隊辨識哪些「類別」可能符合目標。

以學習為目標做設計的其他考量

太早過度精煉你的設計

這個前面提過很多次，這裡再次強調我們要判斷團隊處於試驗的哪個階段，團隊要有共識目前是在「探索」還是「評估」，進而才能判斷當下離最終完成還有多遠，也才可決定了當下的設計要多精鍊。

邊境案例及「最糟狀況」情境

這部分討論的邊境案例，其實和程式設計師在寫 Leetcode 那類題目時，需要考慮的 edge case 一樣。

在 UX 要考慮的邊境案例則像是：使用者「姓名」字元很多時該如何顯示？壞掉的圖片檔案要如何處理？

有些 edge case 或許可以避免，像是限制使用者暱稱的字元數量，讓使用者輸入暱稱時就在規定的字元數內；但若是使用者本人真實的姓名可能不能這樣限制，例如本國原住民的傳統名稱可能字元比常見的漢人姓名還多，這部分就不能以常見字元數量來做限制。

想想看「試驗零」

這邊的「試驗零」指的是在測試項目的「試驗一」之前考慮，這個功能是否有存在任何價值？

舉例來說：Skyscanner 團隊在進行進一步試驗之前，把首頁上的「最便宜機票」移除掉，這讓他們發現這對重點指標沒有影響，所以他們決定取消這個功能，改為鑽研其他功能，如此一來就不用花費時間來資源在「最便宜機票」的相關體驗。

心得

這一章是討論執行階段，但在真的執行測試之前還是有許多內容需要評估，尤其是開頭強調的「不要收斂到特定解決方案」，設計師和團隊其他成員都要花更多去判斷測試項目，如果一開始無法判斷這些測試項目是否真的會有影響，那就先用小規模且有明顯差異的方式進行測試，確定真的有效再進行下一步工作。

此外，在這章的最後結語裡，作者也提到我們應該隨時在這個階段向同事尋求回饋，看看他們是否覺得新的設計有捕捉到假設想傳達的精髓。我們可以向其他沒有涉入產品或設計的同事進行「內部使用者測試」，也可以向經手過 A/B Test 的專家諮詢。