港大開源OpenGraph：攻克圖基礎(chǔ)模型難題，實現(xiàn)多領(lǐng)域通用圖模型

　　近期，香港大學發(fā)布了OpenGraph，這是一項突破性的成果，成功攻克了圖基礎(chǔ)模型領(lǐng)域的三大難題。該模型通過巧妙的技術(shù)實現(xiàn)了零樣本學習，可以適配多種下游任務。OpenGraph的構(gòu)建主要分為統(tǒng)一圖Tokenizer、可擴展的圖Transformer和大語言模型知識蒸餾三個部分。

　　OpenGraph通過創(chuàng)建統(tǒng)一的圖Tokenizer解決了不同數(shù)據(jù)集之間節(jié)點集合和特征空間的變化問題。采用拓撲感知映射方案，實現(xiàn)了對不同圖數(shù)據(jù)的高效tokenization，使得模型能夠更好地理解和處理不同的圖結(jié)構(gòu)。

　　可擴展的圖Transformer部分引入了采樣技巧，包括Token序列采樣和自注意力中的錨點采樣方法。這些技巧有效降低了模型的訓練時間和空間開銷，同時保證了模型在復雜依賴關(guān)系建模方面的強大能力。

　　OpenGraph利用大型語言模型進行知識蒸餾，通過生成各種圖結(jié)構(gòu)數(shù)據(jù)進行訓練，彌補了真實數(shù)據(jù)稀缺的問題。實驗驗證顯示，OpenGraph在跨數(shù)據(jù)集預測和圖Tokenizer設(shè)計方面具有顯著優(yōu)勢，并且基于LLM的知識蒸餾方法也得到了有效驗證。

　　OpenGraph的問世填補了圖基礎(chǔ)模型領(lǐng)域的空白，為通用圖模型的發(fā)展提供了新的思路和技術(shù)支持，具有廣泛的應用前景。