對於 KKBOX Android Dev Team 來說,這是一個還蠻痛的真實故事,時間回到 2015 年的 12 月,在這個日子之前 KKBOX 的 App 內有一段邏輯大概是這個樣子
if (播歌次數 > 100) { boolean ok = 彈出一個 Dialog 問用戶要不要到 Google Play 給我們五顆星; if (ok) { 引導至 Google Play; } else { 謝你哦; } }在這段邏輯下 KKBOX 每天收到的評分數量大約為五顆星 150 筆左右,一顆星 25 筆左右,週未及假日會稍高一些,例如這張 2015-12-25 的真實數據
突然之間,有位 PM 同事頭上冒出燈泡,認為我們不該這麼做,因為這是地圖炮,我們根本不知道用戶聽到第 100 首歌曲時的心情是好的還是壞的,他有一半的機率會到 Google Play / Apple Store / Windows Store 給負評,於是各 App Team 收到一個需求:將導引用戶評分的 Dialog 從播放 100 首歌移到使用收藏歌單 50 次以上時再彈出來。
這個需求的本意良好,邏輯上也沒有什麼不對,所以 Engineer 們除了收藏歌單 50 次這個數字太大之外沒什麼意見,討價還價之後將收藏歌單 50 次改為 15 次後,這個需求就在 2016-01-18 的版本中跟著出去了,接著我們看到明顯的趨勢,每天給五顆星的用戶數很快的掉到只剩 30% 左右,給一顆星的用戶數卻沒有變化,大概就像這張 2016-03-15 的長條圖這樣。
事實擺在眼前,大環境與市場開發的影響不可能在 2 個月內產生 70% 的差異,也不可能只針對五星的評論產生影響,顯然是我們自己哪裡弄錯了,透過 Google Analytics 埋的事件發現,在 2016-01-18 之後,引導用戶評分的 Dialog 平均一天只跳出 2.5 次,所以我們判斷五星評論下降,但一星評論沒有降的原因大概就是這個了,下圖是我們將播放 100 次彈出 Dialog 的邏輯加回後的真實圖表,可以看到這兩個月內沒有去評論的用戶陸續回來了,而且很神奇的,看到 Dialog 去給評分的用戶,都是給四星或五星的正評。
為什麼會說這是一個很痛的經驗呢?因為敝部門 (KKBOX Android Dev Team) 花了相當大的力氣在 Google Play 取得 Top Developer Badge,而 Top Developer Badge 的其中一個持有條件就是星星數必須在 4.0 以上,所以看著每日平均愈來愈低 Engineer 的心是比誰都還痛的,在這次經驗中我們得到一些結論,分享給做產品的同業們