火山引擎DataTester：AB實(shí)驗(yàn)平臺未來演進(jìn)趨勢是怎樣的？

　　近日，第四屆“數(shù)據(jù)智能創(chuàng)新與實(shí)踐人工智能大會”在北京舉辦�；鹕揭�擎DataTester數(shù)據(jù)科學(xué)家就“傳統(tǒng)視角下的AB實(shí)驗(yàn)與互聯(lián)網(wǎng)實(shí)驗(yàn)平臺演進(jìn)”這一話題作了分享，從宏觀層面介紹了AB實(shí)驗(yàn)平臺的發(fā)展?fàn)顟B(tài)，及未來演進(jìn)趨勢。

　　互聯(lián)網(wǎng)AB實(shí)驗(yàn)平臺期望解決的問題是：通過結(jié)果數(shù)據(jù)度量業(yè)務(wù)方案收益，并做出最優(yōu)決策。但由于AB實(shí)驗(yàn)結(jié)果的合理性保障，是在假設(shè)隨機(jī)及滿足SUTVA假設(shè)兩個點(diǎn)的基礎(chǔ)上存在的，因此當(dāng)前的AB試驗(yàn)實(shí)驗(yàn)平臺亟待解決的問題，絕大部分都與二者有關(guān)。

　　目前互聯(lián)網(wǎng)AB實(shí)驗(yàn)平臺的建設(shè)，圍繞分流能力、數(shù)據(jù)追蹤與計(jì)算能力、統(tǒng)計(jì)分析與結(jié)果可視化能力以及標(biāo)準(zhǔn)實(shí)驗(yàn)流程4塊核心能力展開。大多數(shù)互聯(lián)網(wǎng)公司都有自建的實(shí)驗(yàn)平臺，但成熟度參差不齊。其中，火山引擎DataTester完善度相對較高。在C端場景下，火山引擎DataTester SUTVA假設(shè)滿足較好，實(shí)驗(yàn)?zāi)芰Πl(fā)展相對成熟，可滿足80%以上C端實(shí)驗(yàn)需求，且額外投入的人力相對較少。

　　但在社交、直播等違背SUTVA假設(shè)的場景下，互聯(lián)網(wǎng)公司雖有嘗試，但都未建成標(biāo)準(zhǔn)化能力�，F(xiàn)階段上述場景進(jìn)行AB實(shí)驗(yàn)仍需要投入大量人力，“如何實(shí)現(xiàn)隨機(jī)化”和“配套通用統(tǒng)計(jì)分析方法”成為實(shí)驗(yàn)平臺發(fā)展的痛點(diǎn)。與此同時，現(xiàn)階段的實(shí)驗(yàn)平臺在易用性方面，如何降低使用成本和提升效率仍需提升。

　　DoE是Design of Experiment 的縮寫，旨在描述在假設(shè)反應(yīng)變化的條件下，信息變化的任何任務(wù)的設(shè)計(jì)。DoE可以分為單因素實(shí)驗(yàn)和多因素實(shí)驗(yàn)，有4大基本原則：對照原則、隨機(jī)化原則、重復(fù)性原則以及均衡性原則。而DoE的4大基本原則可以分別對應(yīng)到互聯(lián)網(wǎng)實(shí)驗(yàn)的“對照組”“流量分層 hash”“多天觀測、擴(kuò)流”以及“SRM問題”。

　　在DoE的啟示下，可以分析出AB實(shí)驗(yàn)平臺可能的六個演進(jìn)方向：

　　1. C端場景實(shí)驗(yàn)深度發(fā)展：從分流服務(wù)、實(shí)驗(yàn)結(jié)果精度以及實(shí)驗(yàn)分析縱橫發(fā)展三個方面分別演進(jìn)。

　　2. 增加正交分層：完善實(shí)驗(yàn)平臺正交性，實(shí)驗(yàn)正交的作用是兩個實(shí)驗(yàn)沒有相互影響時，可以在各個兩個實(shí)驗(yàn)層獨(dú)立進(jìn)行，獨(dú)立評估效果。

　　3. 健全實(shí)驗(yàn)分析能力：完善平臺數(shù)據(jù)歸因解讀能力，同時發(fā)展平臺正態(tài)分布外分析能力。

　　4. 實(shí)驗(yàn)工程成本優(yōu)化：采用正交設(shè)計(jì)框架，并且建設(shè)標(biāo)準(zhǔn)數(shù)據(jù)源。

　　5. 拓展實(shí)驗(yàn)?zāi)芰�邊界�?/strong>減少流量場及業(yè)務(wù)之間的相互影響。