智譜AI亮相2024 ICLR，分享面向AGI的三大技術(shù)趨勢(shì)

　　北京時(shí)間 5 月 9 日晚，ICLR 2024 會(huì)場(chǎng)，GLM大模型技術(shù)團(tuán)隊(duì)受邀發(fā)表題為 The ChatGLM's Road to AGI 的主旨演講，全面闡述GLM大模型面向 AGI 三大技術(shù)趨勢(shì)。

　　第一，GLM-4的后續(xù)升級(jí)版本即GLM-4.5及其升級(jí)模型，應(yīng)當(dāng)基于超級(jí)認(rèn)知(Superintelligence)和超級(jí)對(duì)齊(Superalignment)技術(shù)。

　　GLM大模型團(tuán)隊(duì)認(rèn)為，文本是構(gòu)建大模型最關(guān)鍵的基礎(chǔ)，但下一步則應(yīng)該把文本、圖像、視頻、音頻等多種模態(tài)混合在一起訓(xùn)練，構(gòu)建真正原生的多模態(tài)模型，同時(shí)超級(jí)對(duì)齊(Superalignment)技術(shù)將協(xié)助提升大模型的安全性。

　　第二，為解決更加復(fù)雜的問(wèn)題，GLM大模型團(tuán)隊(duì)提出GLM-OS概念，即以大模型為中心的通用計(jì)算系統(tǒng)。在ICLR現(xiàn)場(chǎng)，GLM大模型團(tuán)隊(duì)詳細(xì)闡述了GLM-OS的實(shí)現(xiàn)方式：基于已有 All-Tools 能力加上內(nèi)存記憶(memory)和自我反饋(self-reflection) 機(jī)制，GLM-OS 有望實(shí)現(xiàn)模仿人類的Plan-Do-Check-Act 循環(huán)。

　　首先做出計(jì)劃，然后初步嘗試形成反饋，基于反饋結(jié)果調(diào)整規(guī)劃，然后再行動(dòng)以期達(dá)到更好的效果。大模型依靠PDCA循環(huán)機(jī)制形成自我反饋和自我提升——恰如人類自己所做一樣。

　　第三，GLM大模型團(tuán)隊(duì)還在現(xiàn)場(chǎng)講解了自2019年以來(lái)團(tuán)隊(duì)就一直在研究的名為GLM-zero的技術(shù)。GLM-zero旨在研究人類的“無(wú)意識(shí)”學(xué)習(xí)機(jī)制。“當(dāng)人在睡覺(jué)的時(shí)候，大腦依然在無(wú)意識(shí)地學(xué)習(xí)。”GLM大模型團(tuán)隊(duì)表示，“無(wú)意識(shí)”學(xué)習(xí)機(jī)制是人類認(rèn)知能力的重要組成部分，包括自我學(xué)習(xí)(self-instruct)、自我反思(self-reflection)和自我批評(píng)(self-critics)。

　　人腦中存在著反饋 (feedback) 和決策 (decision-making) 兩個(gè)系統(tǒng)，分別對(duì)應(yīng)著大模型和內(nèi)存記憶兩大部分，GLM-zero的相關(guān)研究將進(jìn)一步拓展人類對(duì)意識(shí)、知識(shí)、學(xué)習(xí)行為的理解，換而言之，盡管還處于非常早期的研究階段，但GLM-zero可以視為通向AGI的必經(jīng)之路，這是GLM大模型團(tuán)隊(duì)第一次向外界公開(kāi)這一技術(shù)趨勢(shì)。

　　除了闡述GLM大模型面向AGI的三大技術(shù)趨勢(shì)，GLM大模型技術(shù)團(tuán)隊(duì)在ICLR主旨演講中還回顧了國(guó)產(chǎn)自研大模型 ChatGLM 的演進(jìn)之路，向現(xiàn)場(chǎng)近2000名與會(huì)嘉賓與學(xué)者介紹了GLM系列大模型多項(xiàng)前沿研究成果，涵蓋數(shù)學(xué)、文生圖、圖像理解、視覺(jué)UI理解、Agent智能體、涌現(xiàn)現(xiàn)象等領(lǐng)域。這是中國(guó)大模型團(tuán)隊(duì)首度登上 ICLR 主旨演講環(huán)節(jié)。

　　ICLR 國(guó)際學(xué)習(xí)表征會(huì)議由深度學(xué)習(xí)巨頭、圖靈獎(jiǎng)獲得者 Yoshua Bengio 和 Yann LeCun 在2013年?duì)款^舉辦，與ICML、NeurIPS 并稱為機(jī)器學(xué)習(xí)領(lǐng)域水平最高會(huì)議之一。5月7日，ICLR 2024 在奧地利維也納會(huì)展中心開(kāi)幕，受新一波人工智能浪潮推動(dòng)，本屆ICLR在參展人數(shù)、展覽規(guī)模、論文數(shù)量上均創(chuàng)新高。