當我們做數據分析的時候,到底應該分析什麼?

當我們做數據分析的時候,到底應該分析什麼?

在設計 web 產品時,你可以分析產品的使用資料,並在 A/B 測試中比較不同的介面。這有時被稱為「資料驅動設計」,但我更傾向於把它看作是資料資訊的設計——設計者仍然在驅動,而不是資料。

要使這項工作在實踐中發揮作用,使用正確的度量標準(Metrics)是很重要的。基本的流量度量(如整體頁面檢視或獨特使用者數量)很容易跟蹤,併為你的站點的執行提供了良好的基線,但是對於評估使用者體驗更改的影響,它們通常不是很有用。這是因為它們非常普遍,而且通常與使用者體驗的質量或專案的目標沒有直接關係——很難使它們成為可操作的。

我是谷歌的一組量化 UX 研究人員的一部分,我們喜歡將大規模資料分析看作是另一種 UX 研究方法。我們已經開發了一些有用的方法來幫助選擇和定義合適的度量指標:

  1. 使用者體驗的質量 (HEART 框架)
  2. 你的產品或專案的目標 (目標-訊號-度量過程)
  3. HEART 框架

在幫助谷歌產品團隊定義使用者體驗指標的同時,我們注意到我們的建議往往分為五類:

幸福 :使用者態度的衡量,通常通過調查收集。例如: 滿意度,感知易用性和網路啟動子評分。

參與 :使用者參與程度,通常通過行為代理來衡量,例如在某個時間段內的頻率、強度或互動深度。示例可能包括每個使用者每週訪問的次數,或者每個使用者每天上傳的照片數量。

採用 :新使用者的產品或功能。例如: 在過去七天中建立的帳戶數量或使用標籤的 Gmail 使用者的百分比。

保留 :現有使用者返回的速率。例如: 在某個特定時間段內,有多少活躍使用者仍然存在於以後的某個時間段? 你可能對失敗更感興趣,通常被稱為「攪動」。

任務成功 :這包括使用者體驗的傳統行為度量,例如效率 (例如完成任務的時間)、有效性 (如完成任務的百分比) 和錯誤率。這個類別最適用於你的產品中非常關注任務的領域,比如搜尋或上載流。

這些可以應用於多個級別——從整個產品到特定的特性。例如,在 Gmail 中,我們可能對產品的總體採用感興趣,但也可能對標籤或歸檔等關鍵特性的採用感興趣。

我們經常被問到:「為什麼要度量採用和保留時,你可以只計算獨特的使用者?」在給定的時間段內計算你的使用者數量(比如 7 天活躍使用者)是非常重要的。但是,如果你同時度量採用和保留,你將明確區分新使用者和返回的使用者,這樣你就可以知道你的使用者基礎是如何快速增長或穩定的。這對於新產品和新特性,或者正在重新設計的產品尤其有用。

你不必在所有這些類別中建立度量標準——你應該選擇對你的特定專案最重要的專案(參見下一節中的目標- signals-metrics 流程)。心臟框架可以幫助你決定是否包含或排除特定類別。例如,在企業環境中,使用者希望每天都使用該產品作為其工作的一部分。在這種情況下,團隊可以選擇更多地關注幸福或任務成功。但是,考慮到產品的特定特性,作為其效用的指示器,這仍然是有意義的。

我們已經將心臟框架應用於谷歌範圍內的各種專案,我們發現它是一個非常有用的工具,可以與團隊進行討論。這個縮略詞有助於使它令人難忘,而且很容易通過在白板上快速地寫出分類來促進非正式討論。

Goals-Signals-Metrics 過程

你如何從心臟分類到你可以實現和追蹤的指標? 不幸的是,沒有現成的「HEART 指示板」可以神奇地為你做到這一點:最有用的指標可能是針對你的特定產品或專案。

目標 Goals

簡單地頭腦風暴一長串的列表就開始思考度量標準是很誘人的,但是這很快就會變得難以處理,並且很難區分優先順序。理想情況下,你需要團隊中每個人都關心的一組關鍵指標。要想弄清楚這些是什麼,你需要從更高的層次開始:確定你的目標,這樣你就可以選擇那些幫助你衡量這些目標進展的指標。

令人驚訝的是,要明確一個專案的目標是非常困難的,而這正是心臟分類在討論中特別有用的地方。例如,在 YouTube 網站上,我們最重要的目標之一就是參與互動:我們希望我們的使用者能夠欣賞他們觀看的視訊,並不斷髮現他們想看的視訊和頻道。對於特定的專案或特性,你可能會有不同的目標,而不是整個產品。對於 YouTube 搜尋,一個關鍵的目標是在任務成功的類別:當用戶輸入搜尋時,我們希望他們能快速並且容易地找到最相關的視訊或頻道。

一個常見的陷阱是用現有的度量標準來定義你的目標:「嗯,我們的目標是增加我們網站的流量。」「是的,每個人都想這麼做,但是使用者體驗改進會有什麼幫助呢?」你是否對增加現有使用者的參與度或吸引新使用者感興趣?

你可能沒有意識到你的團隊中的不同成員對專案的目標有不同的想法。這一過程提供了一個機會,可以就你的目標達成共識。

訊號 Signals

接下來,將目標對映到較低級別的訊號。在目標中,成功或失敗如何在使用者行為或態度中表現出來?例如,YouTube 上的用戶參與度可能是指使用者在網站上觀看的影片數量,但更好的衡量指標可能是他們觀看這些影片的時間。YouTube 搜尋「任務成功」類別中的一個失敗訊號可能是輸入一個查詢,而不是點選任何結果。

對於特定的目標,通常會有大量潛在的有用訊號。一旦你產生了一些有希望的候選人,你可能需要停下來做一些研究或分析來幫助你選擇。

首先,每一個訊號要追蹤是多麼容易或困難? 你的產品是否檢測了相關的操作,或者是否可以? 你能定期進行產品調查嗎? 如果你對任務成功度量感興趣,那麼一個選項是在可用性基準測試研究中使用指定的任務,你也可以在很大的範圍內進行。

其次,你應該選擇你期望對你的設計變化敏感的訊號。如果你已經收集了潛在有用的訊號,你就可以分析你所擁有的資料,並試著去理解哪些訊號似乎是相關目標的最佳預測因子。

指標 Metrics

一旦你選擇了訊號,你就可以進一步細化這些訊號,將它們轉換成你將跟蹤時間或在 A/B 測試中進行比較的指標。在 YouTube 的參與例子中,我們可能會實現「使用者花多長時間看視訊」,因為「平均每天觀看視訊的時間為平均分鐘」。

在這一點上,細節很大程度上取決於你的特定基礎設施。但是,就像前面的步驟一樣,可能有許多可能的度量標準,你可以從已知的訊號中建立:你需要對已經收集的資料進行一些分析,以確定哪些是最合適的。你可能需要將原始計數規範化,以使它們更有意義,例如使用平均值或百分比。

Goals-Signals-Metrics 過程應該導致各種度量的自然優先順序-跟蹤與你的最高目標相關的指標是最重要的。避免在你的列表中新增「有趣的統計資料」。你會用這些數字來幫你做決定嗎?你真的需要跟蹤它們,或者是當前的快照足夠嗎? 關注與你的目標密切相關的指標,以避免不必要的實現工作和儀表板混亂。

你可以嘗試繪製這樣的工作表,以幫助你完成這些步驟。如果你的專案沒有意義,你不需要包括所有的心臟類別,當然,你可以隨意新增更多的類別。

如果你希望你的產品的設計能夠被大規模的資料所反應,那麼它確實有助於具有反映使用者體驗質量的度量標準,並且與您的主要目標密切相關。嘗試使用 HEART 和 Goals-Signals-Metrics 來幫助你實現,並讓我們知道它是如何發生的。