火山引擎DataTester：AB實驗平臺未來演進(jìn)趨勢是怎樣的？

　　近日，第四屆“數(shù)據(jù)智能創(chuàng)新與實踐人工智能大會”在北京舉辦�；鹕揭�擎DataTester數(shù)據(jù)科學(xué)家就“傳統(tǒng)視角下的AB實驗與互聯(lián)網(wǎng)實驗平臺演進(jìn)”這一話題作了分享，從宏觀層面介紹了AB實驗平臺的發(fā)展?fàn)顟B(tài)，及未來演進(jìn)趨勢。

　　互聯(lián)網(wǎng)AB實驗平臺期望解決的問題是：通過結(jié)果數(shù)據(jù)度量業(yè)務(wù)方案收益，并做出最優(yōu)決策。但由于AB實驗結(jié)果的合理性保障，是在假設(shè)隨機(jī)及滿足SUTVA假設(shè)兩個點(diǎn)的基礎(chǔ)上存在的，因此當(dāng)前的AB試驗實驗平臺亟待解決的問題，絕大部分都與二者有關(guān)。

　　目前互聯(lián)網(wǎng)AB實驗平臺的建設(shè)，圍繞分流能力、數(shù)據(jù)追蹤與計算能力、統(tǒng)計分析與結(jié)果可視化能力以及標(biāo)準(zhǔn)實驗流程4塊核心能力展開。大多數(shù)互聯(lián)網(wǎng)公司都有自建的實驗平臺，但成熟度參差不齊。其中，火山引擎DataTester完善度相對較高。在C端場景下，火山引擎DataTester SUTVA假設(shè)滿足較好，實驗?zāi)芰Πl(fā)展相對成熟，可滿足80%以上C端實驗需求，且額外投入的人力相對較少。

　　但在社交、直播等違背SUTVA假設(shè)的場景下，互聯(lián)網(wǎng)公司雖有嘗試，但都未建成標(biāo)準(zhǔn)化能力�，F(xiàn)階段上述場景進(jìn)行AB實驗仍需要投入大量人力，“如何實現(xiàn)隨機(jī)化”和“配套通用統(tǒng)計分析方法”成為實驗平臺發(fā)展的痛點(diǎn)。與此同時，現(xiàn)階段的實驗平臺在易用性方面，如何降低使用成本和提升效率仍需提升。

　　DoE是Design of Experiment 的縮寫，旨在描述在假設(shè)反應(yīng)變化的條件下，信息變化的任何任務(wù)的設(shè)計。DoE可以分為單因素實驗和多因素實驗，有4大基本原則：對照原則、隨機(jī)化原則、重復(fù)性原則以及均衡性原則。而DoE的4大基本原則可以分別對應(yīng)到互聯(lián)網(wǎng)實驗的“對照組”“流量分層 hash”“多天觀測、擴(kuò)流”以及“SRM問題”。

　　在DoE的啟示下，可以分析出AB實驗平臺可能的六個演進(jìn)方向：

　　1. C端場景實驗深度發(fā)展：從分流服務(wù)、實驗結(jié)果精度以及實驗分析縱橫發(fā)展三個方面分別演進(jìn)。

　　2. 增加正交分層：完善實驗平臺正交性，實驗正交的作用是兩個實驗沒有相互影響時，可以在各個兩個實驗層獨(dú)立進(jìn)行，獨(dú)立評估效果。

　　3. 健全實驗分析能力：完善平臺數(shù)據(jù)歸因解讀能力，同時發(fā)展平臺正態(tài)分布外分析能力。

　　4. 實驗工程成本優(yōu)化：采用正交設(shè)計框架，并且建設(shè)標(biāo)準(zhǔn)數(shù)據(jù)源。

　　5. 拓展實驗?zāi)芰�邊界�?/strong>減少流量場及業(yè)務(wù)之間的相互影響。