國(guó)產(chǎn)AI大模型ChatGLM開(kāi)測(cè)：為中文優(yōu)化、支持國(guó)產(chǎn)CPU訓(xùn)練

2023年03月15日 15:05:31 來(lái)源：快科技

　　ChatGPT今天升級(jí)了GPT-4模型，AI能力更加強(qiáng)大，國(guó)內(nèi)在這方面也在迅速追趕，又一個(gè)國(guó)產(chǎn)版ChatGPT問(wèn)世了，現(xiàn)在智譜AI推出的ChatGLM開(kāi)始內(nèi)測(cè)。

　　據(jù)介紹，對(duì)話機(jī)器人 ChatGLM（alpha內(nèi)測(cè)版：QAGLM），這是一個(gè)初具問(wèn)答和對(duì)話功能的千億中英語(yǔ)言模型，并針對(duì)中文進(jìn)行了優(yōu)化，現(xiàn)已開(kāi)啟邀請(qǐng)制內(nèi)測(cè)，后續(xù)還會(huì)逐步擴(kuò)大內(nèi)測(cè)范圍。

　　與此同時(shí)，繼開(kāi)源 GLM-130B 千億基座模型之后，我們正式開(kāi)源最新的中英雙語(yǔ)對(duì)話 GLM 模型： ChatGLM-6B，結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署(INT4 量化級(jí)別下最低只需 6GB 顯存)。

　　經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾⑷祟惙答亸?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 雖然規(guī)模不及千億模型，但大大降低了用戶部署的門檻，并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。

　　ChatGLM 參考了 ChatGPT 的設(shè)計(jì)思路，在千億基座模型 GLM-130B1 中注入了代碼預(yù)訓(xùn)練，通過(guò)有監(jiān)督微調(diào)(Supervised Fine-Tuning)等技術(shù)實(shí)現(xiàn)人類意圖對(duì)齊。

　　ChatGLM 當(dāng)前版本模型的能力提升主要來(lái)源于獨(dú)特的千億基座模型 GLM-130B。它是不同于 BERT、GPT-3 以及 T5 的架構(gòu)，是一個(gè)包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。

　　2022年8月，我們向研究界和工業(yè)界開(kāi)放了擁有1300億參數(shù)的中英雙語(yǔ)稠密模型 GLM-130B1，該模型有一些獨(dú)特的優(yōu)勢(shì)：

　　雙語(yǔ)：同時(shí)支持中文和英文。

　　高精度(英文)：在公開(kāi)的英文自然語(yǔ)言榜單 LAMBADA、MMLU 和 Big-bench-lite 上優(yōu)于 GPT-3 175B(API: davinci，基座模型)、OPT-175B 和 BLOOM-176B。

　　高精度(中文)：在7個(gè)零樣本 CLUE 數(shù)據(jù)集和5個(gè)零樣本 FewCLUE 數(shù)據(jù)集上明顯優(yōu)于 ERNIE TITAN 3.0 260B 和 YUAN 1.0-245B。

　　快速推理：首個(gè)實(shí)現(xiàn) INT4 量化的千億模型，支持用一臺(tái) 4 卡 3090 或 8 卡 2080Ti 服務(wù)器進(jìn)行快速且基本無(wú)損推理。

　　可復(fù)現(xiàn)性：所有結(jié)果(超過(guò) 30 個(gè)任務(wù))均可通過(guò)我們的開(kāi)源代碼和模型參數(shù)復(fù)現(xiàn)。

　　跨平臺(tái)：支持在國(guó)產(chǎn)的海光 DCU、華為昇騰 910 和申威處理器及美國(guó)的英偉達(dá)芯片上進(jìn)行訓(xùn)練與推理。

　　2022年11月，斯坦福大學(xué)大模型中心對(duì)全球30個(gè)主流大模型進(jìn)行了全方位的評(píng)測(cè)2，GLM-130B 是亞洲唯一入選的大模型。

　　在與 OpenAI、谷歌大腦、微軟、英偉達(dá)、臉書的各大模型對(duì)比中，評(píng)測(cè)報(bào)告顯示 GLM-130B 在準(zhǔn)確性和惡意性指標(biāo)上與 GPT-3 175B (davinci) 接近或持平，魯棒性和校準(zhǔn)誤差在所有千億規(guī)模的基座大模型（作為公平對(duì)比，只對(duì)比無(wú)指令提示微調(diào)模型）中表現(xiàn)不錯(cuò)（下圖）。