港大開源圖基礎(chǔ)大模型OpenGraph 增強(qiáng)圖學(xué)習(xí)泛化能力

　　香港大學(xué)數(shù)據(jù)智能實(shí)驗(yàn)室主任黃超團(tuán)隊開發(fā)了一款名為 OpenGraph 的圖基礎(chǔ)大模型，專注于在多種圖數(shù)據(jù)集上進(jìn)行零樣本預(yù)測。該模型通過學(xué)習(xí)通用的圖結(jié)構(gòu)模式，僅通過前向傳播即可對全新數(shù)據(jù)進(jìn)行預(yù)測，有效緩解了圖學(xué)習(xí)領(lǐng)域的數(shù)據(jù)饑荒問題。

　　關(guān)鍵特點(diǎn):

　　強(qiáng)泛化能力:OpenGraph 旨在通過圖結(jié)構(gòu)模式學(xué)習(xí)，實(shí)現(xiàn)對未見數(shù)據(jù)的零樣本預(yù)測。

　　提示調(diào)整技術(shù):團(tuán)隊提出的提示調(diào)整技術(shù)提高了模型對新任務(wù)的適應(yīng)性。

　　GitHub 開源:該工作已在 GitHub 上開源，供學(xué)術(shù)界和工業(yè)界使用和研究。

　　數(shù)據(jù)集間 token 差異解決:模型能夠跨不同圖數(shù)據(jù)集進(jìn)行預(yù)測，解決了數(shù)據(jù)集間 token 差異的問題。

　　節(jié)點(diǎn)關(guān)系建模:在構(gòu)建通用圖模型時，有效建模節(jié)點(diǎn)關(guān)系，對模型的擴(kuò)展性和效率至關(guān)重要。

　　數(shù)據(jù)稀缺問題的解決:通過大型語言模型進(jìn)行數(shù)據(jù)增強(qiáng)，模擬復(fù)雜的圖結(jié)構(gòu)關(guān)系，提升模型訓(xùn)練質(zhì)量。

　　模型架構(gòu):OpenGraph 模型由統(tǒng)一圖 Tokenizer、可擴(kuò)展的圖 Transformer 和基于大語言模型的知識蒸餾技術(shù)三個核心部分組成。

　　實(shí)驗(yàn)驗(yàn)證:在多樣化的真實(shí)場景數(shù)據(jù)集上進(jìn)行測試，涵蓋節(jié)點(diǎn)分類和鏈接預(yù)測任務(wù)，OpenGraph 在零樣本預(yù)測中表現(xiàn)優(yōu)異。

　　未來工作:團(tuán)隊計劃增加框架的自動化能力，自動識別噪聲連接，進(jìn)行反事實(shí)學(xué)習(xí)，并提取圖結(jié)構(gòu)的通用模式，以推動模型的應(yīng)用范圍和效果。

　　研究結(jié)論:

　　OpenGraph 作為圖基礎(chǔ)模型構(gòu)建的初步嘗試，通過在多個標(biāo)準(zhǔn)數(shù)據(jù)集上的廣泛測試，證明了其出色的泛化性能。研究人員希望借助 OpenGraph 顯著增強(qiáng)模型在零樣本圖學(xué)習(xí)任務(wù)中的泛化能力，并探索多種下游應(yīng)用。