阿里媽媽給出了什么樣的賽題，被頂會(huì)NeurIPS 2024 pick了？

　　在眾多人工智能頂會(huì)中，NeurIPS 屬于什么段位?有人將其代入《甄嬛傳》宇宙做了張圖:大概配享「后位」。

　　這一排名可能存在爭議，但毋庸置疑的是，NeurIPS 在 AI 頂會(huì)中始終穩(wěn)居前三，并且長期處于 Google Scholar 全球所有學(xué)科期刊、頂會(huì)的前十名。

　　因此，能夠在這一會(huì)議中發(fā)表論文是眾多 AI 研究者的共同目標(biāo)。開創(chuàng)性的 AlexNet、Transformer、GPT-3論文都是該頂會(huì)的接收論文。

　　但值得注意的是，論文并不能代表 NeurIPS 的全部價(jià)值，會(huì)議期間舉辦的一些競賽可能更適合一些專注于 AI 實(shí)踐的研究者、工程師。連 NeurIPS 官方也說，「這些競賽在研究和解決復(fù)雜問題方面發(fā)揮著重要作用」。

　　那這些競賽去哪里找呢?其實(shí)，NeurIPS 官方在6月份就發(fā)布了一篇博客，專門給出了這些競賽的列表。

　　該列表總共包含16個(gè)賽題，每個(gè)賽題都經(jīng)過了層層篩選，具有大會(huì)要求的「廣泛的科學(xué)研究價(jià)值」。

　　這些賽題由 NeurIPS 官方征集而來。以往年的經(jīng)驗(yàn)來看，能最終入選的賽題絕大部分來自高校、研究機(jī)構(gòu)或者 Google、OpenAI、Meta 等國外科技公司，國內(nèi)工業(yè)界提報(bào)的賽題入選幾率極低。今年，由于大模型賽道火熱，賽題競爭更為激烈。

　　但令人驚喜的是，在如此激烈的競爭環(huán)境下，國內(nèi)工業(yè)界依然有人脫穎而出，列表中的「Auto-Bidding in Large-Scale Auctions: Learning Decision-Making in Uncertain and Competitive Games(大規(guī)模拍賣中的自動(dòng)出價(jià):不確定和競爭博弈中的學(xué)習(xí)決策)」便是他們提報(bào)的賽題。

　　該賽題由北大 - 阿里媽媽人工智能創(chuàng)新聯(lián)合實(shí)驗(yàn)室（PAAI）中的決策智能方向合作團(tuán)隊(duì)產(chǎn)出，阿里媽媽決策智能技術(shù)團(tuán)隊(duì)作為第一單位同北京大學(xué)鄧小鐵教授、盧宗青教授研究團(tuán)隊(duì)聯(lián)合提報(bào)。在賽題入選后，阿里媽媽拿到了這一比賽的主辦權(quán)，成為國內(nèi)工業(yè)界今年唯一一家獲得 NeurIPS 比賽主辦權(quán)的組織。

　　賽題圍繞「大規(guī)模拍賣中的自動(dòng)出價(jià)」問題展開。該問題與我們每天打開購物 APP，搜索、瀏覽商品的界面息息相關(guān)，背后蘊(yùn)藏著巨大的研究和商業(yè)價(jià)值。NeurIPS 專家評(píng)委給賽題的評(píng)價(jià)是「Practically important， well organized， and well tested（實(shí)際意義重大，組織良好，測試良好）」。

　　那么，「大規(guī)模拍賣中的自動(dòng)出價(jià)」是個(gè)什么問題?為什么會(huì)由北大 - 阿里媽媽人工智能創(chuàng)新聯(lián)合實(shí)驗(yàn)室提出并且獲得了如此高的評(píng)價(jià)?參賽者具體要做什么?機(jī)器之心將在這篇文章中一一拆解。

　　什么是「大規(guī)模拍賣中的自動(dòng)出價(jià)」?

　　要理解什么是「大規(guī)模拍賣中的自動(dòng)出價(jià)」，我們先回憶一下打開淘寶開始購物的經(jīng)歷。

　　每次你輸入一個(gè)關(guān)鍵詞，系統(tǒng)都會(huì)彈出一個(gè)商品頁面。其實(shí)，這個(gè)頁面大有講究:哪些商品會(huì)出現(xiàn)，哪個(gè)商品排在前面都是系統(tǒng)精密計(jì)算的結(jié)果，其中的廣告是平臺(tái)運(yùn)行拍賣機(jī)制把廣告位分配給廣告主的結(jié)果。

　　整個(gè)過程的運(yùn)行邏輯如下:首先，平臺(tái)會(huì)通過分析用戶的興趣和行為模式來構(gòu)建用戶畫像。當(dāng)用戶在淘寶上進(jìn)行搜索或?yàn)g覽商品時(shí)，平臺(tái)會(huì)立即在后臺(tái)啟動(dòng)廣告拍賣流程。廣告主們通過競價(jià)機(jī)制參與到這場拍賣中，希望能夠讓自己的廣告獲得展示機(jī)會(huì)。自動(dòng)出價(jià)系統(tǒng)在這個(gè)過程中發(fā)揮著核心作用，它綜合考慮用戶的畫像、行為數(shù)據(jù)、廣告主的推廣目標(biāo)、預(yù)算限制，以及拍賣環(huán)境中的多種因素，實(shí)時(shí)計(jì)算出最優(yōu)化的出價(jià)策略。平臺(tái)會(huì)根據(jù)這些數(shù)據(jù)和計(jì)算結(jié)果，選擇出價(jià)最高且與用戶需求最相關(guān)的廣告。這些廣告結(jié)果會(huì)和自然結(jié)果一起展現(xiàn)給用戶。整個(gè)過程完全自動(dòng)化，能在極短的時(shí)間內(nèi)完成。

　　從這個(gè)過程可以看出，通過自動(dòng)出價(jià)系統(tǒng)，廣告主能夠大大簡化廣告投放的流程，利用人工智能技術(shù)實(shí)現(xiàn)精準(zhǔn)營銷，從而節(jié)省時(shí)間和精力。

　　2023年，全球線上廣告市場規(guī)模已經(jīng)達(dá)到6268億美元。自動(dòng)出價(jià)技術(shù)對于推動(dòng)其持續(xù)增長至關(guān)重要。類似的研究問題還有廣告投放策略和其他機(jī)制設(shè)計(jì)，它們都屬于決策智能的研究范疇。決策智能相關(guān)研究可以為企業(yè)帶來新的運(yùn)營方式，在決策機(jī)制上降低對人的依賴，從而顯著提企高業(yè)的收益增長速度，提升企業(yè)成長空間。

　　不過，要做好賽題中的「自動(dòng)出價(jià)」并不容易。因?yàn)樽詣?dòng)出價(jià)系統(tǒng)需應(yīng)對龐大且復(fù)雜的數(shù)據(jù)洪流，涵蓋用戶行為數(shù)據(jù)、廣告數(shù)據(jù)、競價(jià)數(shù)據(jù)等多維度信息，而且這些數(shù)據(jù)會(huì)實(shí)時(shí)更新。此外，系統(tǒng)還需在一個(gè)充滿不確定性的博弈環(huán)境中進(jìn)行決策，無法獲得所有影響因素的完整信息。因此，系統(tǒng)只能依賴于當(dāng)前可用的數(shù)據(jù)和累積的歷史經(jīng)驗(yàn)，通過智能算法進(jìn)行預(yù)測和決策，力求在瞬息萬變的市場環(huán)境中做出最優(yōu)的出價(jià)選擇。

　　「自動(dòng)出價(jià)」優(yōu)化之路

　　從強(qiáng)化學(xué)習(xí)到生成式 AI

　　總體來看，整個(gè)出價(jià)領(lǐng)域業(yè)界的方法經(jīng)歷了四代演化。在自動(dòng)出價(jià)策略的優(yōu)化上，阿里媽媽也進(jìn)行了多年的研究。

　　第一代:經(jīng)典控制類。把效果最大化的優(yōu)化問題間接轉(zhuǎn)化為預(yù)算消耗的控制問題�；�于業(yè)務(wù)數(shù)據(jù)計(jì)算消耗曲線，控制預(yù)算盡可能按照設(shè)定的曲線來消耗。PID 及相關(guān)改進(jìn)是這一階段常用的控制算法。當(dāng)競價(jià)流量價(jià)值分布穩(wěn)定的情況下，這類算法能基本滿足業(yè)務(wù)上線之初的效果優(yōu)化。

　　第二代:規(guī)劃求解類。相比于第一代，規(guī)劃求解類(LP)算法直接面向目標(biāo)最大化來進(jìn)行求解。可基于前一天的參競流量來預(yù)測當(dāng)前未來流量集合，從而求解出價(jià)參數(shù)。自動(dòng)出價(jià)問題根據(jù)當(dāng)前已投放的數(shù)據(jù)變成新的子問題，因此可多次持續(xù)地用該方法進(jìn)行求解，即 Online LP。這類方法依賴對未來參競流量的精準(zhǔn)預(yù)估，因此在實(shí)際場景落地時(shí)需要在未來流量的質(zhì)和量的預(yù)測上做較多的工作。

　　第三代:強(qiáng)化學(xué)習(xí)類。現(xiàn)實(shí)環(huán)境中在線競價(jià)環(huán)境是非常復(fù)雜且動(dòng)態(tài)變化的，未來的流量集合也是難以精準(zhǔn)預(yù)測的，要統(tǒng)籌整個(gè)預(yù)算周期投放才能最大化效果。作為典型的序列決策問題，第三階段用強(qiáng)化學(xué)習(xí)類方法來優(yōu)化自動(dòng)出價(jià)策略。其迭代過程從早期的經(jīng)典強(qiáng)化學(xué)習(xí)方法落地，到進(jìn)一步基于 Offline RL 方法逼近「在線真實(shí)環(huán)境的數(shù)據(jù)分布」，再到末期貼近問題本質(zhì)基于 Online RL 方法實(shí)現(xiàn)和真實(shí)競價(jià)環(huán)境的交互學(xué)習(xí)。

　　第四代:生成模型類。以 ChatGPT 為代表的生成式大模型以洶涌澎湃之勢到來，在多個(gè)領(lǐng)域都表現(xiàn)出令人驚艷的效果。新的技術(shù)理念和技術(shù)范式可能會(huì)給自動(dòng)出價(jià)算法帶來革命性的升級(jí)。阿里媽媽技術(shù)團(tuán)隊(duì)提前布局，以智能營銷決策大模型 AIGA(AI Generated Action)為核心重塑了廣告智能營銷的技術(shù)體系，并衍生出以 AIGB(AI Generated Bidding)為代表的自動(dòng)出價(jià)策略。

　　在業(yè)界的最新研究處于第三代時(shí)(2022年)，北大 - 阿里媽媽人工智能創(chuàng)新聯(lián)合實(shí)驗(yàn)室（PAAI）成立。這個(gè)實(shí)驗(yàn)室集齊了產(chǎn)業(yè)界和學(xué)術(shù)界的多位大牛:北京大學(xué)智能學(xué)院院長朱松純教授領(lǐng)銜學(xué)術(shù)指導(dǎo)，北京大學(xué)講席教授鄧小鐵、北大智能學(xué)院副教授宋國杰和阿里媽媽技術(shù)負(fù)責(zé)人鄭波都是實(shí)驗(yàn)室的核心成員。幾位大牛帶領(lǐng)實(shí)驗(yàn)室在已有成果的基礎(chǔ)上繼續(xù)研究自動(dòng)出價(jià)等決策智能問題。

　　在研究過程中，他們發(fā)現(xiàn)，原有的強(qiáng)化學(xué)習(xí)方法存在一些局限，比如在自動(dòng)出價(jià)這種長序列決策場景下會(huì)有訓(xùn)練誤差累積過多的問題。與此同時(shí)，ChatGPT 在多個(gè)領(lǐng)域正在驗(yàn)證生成式 AI 的強(qiáng)大能力。于是，該團(tuán)隊(duì)開始思考，生成式模型能夠給自動(dòng)出價(jià)策略帶來什么?最終，他們提出了一種基于生成式模型構(gòu)造的出價(jià)策略優(yōu)化方案 ——AIGB（AI Generative Bidding）。

　　具體來說，AIGB 將出價(jià)、優(yōu)化目標(biāo)和約束等具備相關(guān)性的指標(biāo)視為一個(gè)聯(lián)合概率分布，從而將出價(jià)問題轉(zhuǎn)化為了條件分布生成問題。與強(qiáng)化學(xué)習(xí)的視角不同，它直接關(guān)聯(lián)決策軌跡和回報(bào)信息(如下圖所示)，能夠避免訓(xùn)練誤差累積，更適合長序列決策場景。這是聯(lián)合實(shí)驗(yàn)室率先將生成式大模型應(yīng)用在智能出價(jià)領(lǐng)域的一次嘗試，相關(guān)論文已被國際頂會(huì) KDD2024接收。

　　當(dāng)然，「大規(guī)模拍賣中的自動(dòng)出價(jià)」等決策智能問題遠(yuǎn)未解決，生成式 AI 在這些問題中的應(yīng)用也才剛剛進(jìn)入嘗試階段。因此，聯(lián)合實(shí)驗(yàn)室就向 NeurIPS 提報(bào)了相關(guān)賽題，期望借助多年的研究積累，匯聚社區(qū)的力量，共同推動(dòng)這些問題的深入研究與解決。

　　除了商業(yè)價(jià)值，這些問題本身也有很高的研究價(jià)值。因?yàn)闆Q策智能整合了人工智能、數(shù)據(jù)科學(xué)和博弈論等學(xué)科，提供了系統(tǒng)化框架來解決復(fù)雜問題。這促進(jìn)了跨學(xué)科融合，推動(dòng)了計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)和經(jīng)濟(jì)學(xué)等領(lǐng)域的創(chuàng)新與合作。

　　AIGB、通用兩大賽道

　　報(bào)名已開啟

　　「大規(guī)模拍賣中的自動(dòng)出價(jià)」賽題總共分為兩個(gè)賽道，分別是:

　　AIGB 賽道:利用生成式模型學(xué)習(xí)自動(dòng)出價(jià) Agent

　　通用賽道:含不確定性的自動(dòng)出價(jià)

　　在 AIGB 賽道，參賽者需要思考如何針對長序列做精準(zhǔn)的出價(jià)決策。前面提到，傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法在面對這一問題時(shí)會(huì)受到誤差累積等因素的限制，性能表現(xiàn)受限，而廣義的生成模型在這一任務(wù)上表現(xiàn)出了較大的潛力。因此，這個(gè)本賽道要求參賽者采用廣泛的生成式模型，如 Diffusion Models、Transformers 等，來應(yīng)對這一挑戰(zhàn)。如果你有 Diffusion Models、Transformers、Foundation Models、大型語言模型(LLMs)及其他生成方法的研究或從業(yè)背景，可以考慮報(bào)名該賽道。

　　在通用賽道，參賽選手面臨的挑戰(zhàn)是在大規(guī)模拍賣中做出有效的出價(jià)決策，這需要有效地感知競爭對手策略的變化。真實(shí)世界中復(fù)雜的廣告拍賣環(huán)境帶來了額外的挑戰(zhàn)，即不確定性。參與者必須考慮消費(fèi)者到達(dá)的隨機(jī)性、轉(zhuǎn)化行為預(yù)測的方差、數(shù)據(jù)稀疏性及其他因素。如果你有強(qiáng)化學(xué)習(xí)、優(yōu)化、機(jī)器學(xué)習(xí)、博弈論和數(shù)據(jù)科學(xué)的研究或從業(yè)背景，可以考慮報(bào)名該賽道。

　　參加本次比賽將帶來眾多收獲。NeurIPS具有極高的國際影響力，在比賽中取得優(yōu)異成績，對于你的個(gè)人簡歷無疑是個(gè)加分項(xiàng)，將非常有助于未來的職業(yè)發(fā)展。此外，優(yōu)勝者還有機(jī)會(huì)贏得6000美元的賽事獎(jiǎng)金，以及阿里巴巴的實(shí)習(xí)機(jī)會(huì)、校招綠色通道以及訪問學(xué)者資格。

　　本次比賽也將首次公開約5億條博弈數(shù)據(jù)及相應(yīng)的訓(xùn)練框架，如此大規(guī)模的博弈數(shù)據(jù)在業(yè)界非常少見。這對于決策智能、強(qiáng)化學(xué)習(xí)、博弈和生成式模型等領(lǐng)域的研究者和從業(yè)者來說，都是一次很好的實(shí)踐和研究機(jī)會(huì)。