港大開(kāi)源圖基礎(chǔ)大模型OpenGraph 增強(qiáng)圖學(xué)習(xí)泛化能力

　　香港大學(xué)數(shù)據(jù)智能實(shí)驗(yàn)室主任黃超團(tuán)隊(duì)開(kāi)發(fā)了一款名為 OpenGraph 的圖基礎(chǔ)大模型，專(zhuān)注于在多種圖數(shù)據(jù)集上進(jìn)行零樣本預(yù)測(cè)。該模型通過(guò)學(xué)習(xí)通用的圖結(jié)構(gòu)模式，僅通過(guò)前向傳播即可對(duì)全新數(shù)據(jù)進(jìn)行預(yù)測(cè)，有效緩解了圖學(xué)習(xí)領(lǐng)域的數(shù)據(jù)饑荒問(wèn)題。

　　關(guān)鍵特點(diǎn):

　　強(qiáng)泛化能力:OpenGraph 旨在通過(guò)圖結(jié)構(gòu)模式學(xué)習(xí)，實(shí)現(xiàn)對(duì)未見(jiàn)數(shù)據(jù)的零樣本預(yù)測(cè)。

　　提示調(diào)整技術(shù):團(tuán)隊(duì)提出的提示調(diào)整技術(shù)提高了模型對(duì)新任務(wù)的適應(yīng)性。

　　GitHub 開(kāi)源:該工作已在 GitHub 上開(kāi)源，供學(xué)術(shù)界和工業(yè)界使用和研究。

　　數(shù)據(jù)集間 token 差異解決:模型能夠跨不同圖數(shù)據(jù)集進(jìn)行預(yù)測(cè)，解決了數(shù)據(jù)集間 token 差異的問(wèn)題。

　　節(jié)點(diǎn)關(guān)系建模:在構(gòu)建通用圖模型時(shí)，有效建模節(jié)點(diǎn)關(guān)系，對(duì)模型的擴(kuò)展性和效率至關(guān)重要。

　　數(shù)據(jù)稀缺問(wèn)題的解決:通過(guò)大型語(yǔ)言模型進(jìn)行數(shù)據(jù)增強(qiáng)，模擬復(fù)雜的圖結(jié)構(gòu)關(guān)系，提升模型訓(xùn)練質(zhì)量。

　　模型架構(gòu):OpenGraph 模型由統(tǒng)一圖 Tokenizer、可擴(kuò)展的圖 Transformer 和基于大語(yǔ)言模型的知識(shí)蒸餾技術(shù)三個(gè)核心部分組成。

　　實(shí)驗(yàn)驗(yàn)證:在多樣化的真實(shí)場(chǎng)景數(shù)據(jù)集上進(jìn)行測(cè)試，涵蓋節(jié)點(diǎn)分類(lèi)和鏈接預(yù)測(cè)任務(wù)，OpenGraph 在零樣本預(yù)測(cè)中表現(xiàn)優(yōu)異。

　　未來(lái)工作:團(tuán)隊(duì)計(jì)劃增加框架的自動(dòng)化能力，自動(dòng)識(shí)別噪聲連接，進(jìn)行反事實(shí)學(xué)習(xí)，并提取圖結(jié)構(gòu)的通用模式，以推動(dòng)模型的應(yīng)用范圍和效果。

　　研究結(jié)論:

　　OpenGraph 作為圖基礎(chǔ)模型構(gòu)建的初步嘗試，通過(guò)在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上的廣泛測(cè)試，證明了其出色的泛化性能。研究人員希望借助 OpenGraph 顯著增強(qiáng)模型在零樣本圖學(xué)習(xí)任務(wù)中的泛化能力，并探索多種下游應(yīng)用。