火山引擎DataTester案例：如何用A/B測試提高產(chǎn)品用戶互動(dòng)率？

　　對C端產(chǎn)品而言，增長的核心要素之一是用戶活躍度。通過各類激發(fā)互動(dòng)的方式，使信息得以在關(guān)系鏈中流轉(zhuǎn)、傳播，達(dá)成有效的信息交互，是產(chǎn)品生態(tài)能否被激活的關(guān)鍵。

　　本文將分享字節(jié)跳動(dòng)的短視頻產(chǎn)品增長案例。該產(chǎn)品團(tuán)隊(duì)通過A/B測試，圓滿地完成了用戶互動(dòng)環(huán)節(jié)的優(yōu)化，將產(chǎn)品傳播率提升了超20%。

　　對短視頻產(chǎn)品而言，用戶互動(dòng)行為是用戶在觀看內(nèi)容時(shí)，做出的點(diǎn)贊、評論、分享等行為。這些行為不僅能激勵(lì)創(chuàng)作者，也能讓優(yōu)質(zhì)作品產(chǎn)生規(guī)模效應(yīng)，帶來內(nèi)容生產(chǎn)和消費(fèi)的正循環(huán)。用戶之間的分享行為，還會(huì)加速優(yōu)質(zhì)內(nèi)容在不同媒體渠道間的傳播，為產(chǎn)品引入新的用戶。

　　該產(chǎn)品團(tuán)隊(duì)通過數(shù)據(jù)分析發(fā)現(xiàn)到一個(gè)問題：平臺上的視頻作品，無論是二次播放率還是點(diǎn)贊率，數(shù)據(jù)表現(xiàn)都遠(yuǎn)遠(yuǎn)高于分享率。他們判斷，視頻作品的分享率可能有很大提升空間，尤其是用戶點(diǎn)贊過的視頻，充分說明了用戶對內(nèi)容質(zhì)量的認(rèn)可，那么分享的動(dòng)機(jī)和意愿也會(huì)更強(qiáng)。

　　因此，該產(chǎn)品團(tuán)隊(duì)的同學(xué)進(jìn)行了大膽假設(shè)：在用戶發(fā)生點(diǎn)贊行為后，產(chǎn)品界面中增加轉(zhuǎn)發(fā)分享引導(dǎo)，可能會(huì)促成更多分享行為。

　　那么如何確定上述假設(shè)是正確的?又如何在多個(gè)分享引導(dǎo)界面設(shè)計(jì)中，選到最優(yōu)方案呢?

　　該產(chǎn)品團(tuán)隊(duì)?wèi)?yīng)用了內(nèi)部自研的A/B測試平臺——火山引擎DataTester，通過A/B實(shí)驗(yàn)，來幫助他們找到最優(yōu)的業(yè)務(wù)策略。

　　1. 產(chǎn)品策略設(shè)計(jì)

　　目標(biāo)：通過引導(dǎo)分享界面優(yōu)化，提升用戶分享率。

　　設(shè)計(jì)：相對于線上舊版功能，新功能在引導(dǎo)樣式上由靜態(tài)變?yōu)榱藙?dòng)態(tài);此外，觸發(fā)時(shí)機(jī)由“用戶循環(huán)播放2次該視頻作品”改為了“用戶點(diǎn)贊該視頻作品”。引導(dǎo)樣式對比圖如下：

　　2. 實(shí)驗(yàn)方案設(shè)計(jì)

　　在完成了分享引導(dǎo)新功能的設(shè)計(jì)后，該產(chǎn)品團(tuán)隊(duì)基于想要驗(yàn)證的目標(biāo)，在DataTester上設(shè)計(jì)了實(shí)驗(yàn)分組。實(shí)驗(yàn)設(shè)計(jì)在原有的舊產(chǎn)品策略、新產(chǎn)品策略之外，還額外增加了一個(gè)“反轉(zhuǎn)實(shí)驗(yàn)組”，該實(shí)驗(yàn)組是要驗(yàn)證分享策略是否對用戶體驗(yàn)有負(fù)向影響。

　　在實(shí)驗(yàn)運(yùn)行一段時(shí)間后，該產(chǎn)品團(tuán)隊(duì)對A/B實(shí)驗(yàn)報(bào)告進(jìn)行了分析，發(fā)現(xiàn)在核心指標(biāo)「人均分享量」上，“實(shí)驗(yàn)組1”的數(shù)據(jù)呈正向變化，人均分享量顯著提升了20%!數(shù)據(jù)說明新產(chǎn)品策略能有效提升用戶互動(dòng)意愿，該產(chǎn)品后續(xù)全量上線了實(shí)驗(yàn)組1的方案。

　　這是一次成功的A/B實(shí)驗(yàn)，這背后離不開產(chǎn)品團(tuán)隊(duì)前期籌備的多向探索、實(shí)驗(yàn)設(shè)計(jì)時(shí)的不斷糾偏。而到了從多個(gè)產(chǎn)品策略中擇優(yōu)的那一步，則體現(xiàn)出了A/B測試的精準(zhǔn)和客觀。像這樣的A/B實(shí)驗(yàn)，字節(jié)跳動(dòng)每天都會(huì)新增2000余個(gè)，DataTester 依靠它先進(jìn)的底層算法及強(qiáng)大的統(tǒng)計(jì)應(yīng)用研究，在字節(jié)跳動(dòng)內(nèi)部幫助今日頭條、抖音等多個(gè)產(chǎn)品“小步快跑、高效迭代”，用科學(xué)的實(shí)驗(yàn)衡量決策收益。

　　如今，DataTester也已經(jīng)由火山引擎對外開放服務(wù)，目前已服務(wù)了美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)，支持了多種業(yè)務(wù)場景需求，為業(yè)務(wù)的用戶增長、轉(zhuǎn)化、產(chǎn)品迭代、運(yùn)營活動(dòng)等各個(gè)環(huán)節(jié)提供了科學(xué)的決策依據(jù)，將成熟的“數(shù)據(jù)驅(qū)動(dòng)增長”經(jīng)驗(yàn)賦能給各行業(yè)。(作者：黃峰)