蘇州大學(xué)推出開源大模型OpenBA，具備150億參數(shù)

　　據(jù) Arxiv 頁面顯示，來自蘇州大學(xué)的一個(gè)研發(fā)團(tuán)隊(duì)近日推出一款名為 OpenBA 的開源 seq2seq 模型。

　　據(jù)悉， OpenBA 是一款具有150億參數(shù)的雙語非對(duì)稱seq2seq模型，也是首個(gè)加入中國開源模型社區(qū)的大語言模型變體。論文顯示，研究者采用高效的技術(shù)以及采用三階段的訓(xùn)練策略，從頭開始訓(xùn)練了OpenBA模型。

　　實(shí)驗(yàn)顯示，OpenBA 在 BELEBELE 基準(zhǔn)測試中的性能優(yōu)于 LLaMA-70B，在 MMLU 基準(zhǔn)測試中的性能優(yōu)于 BLOOM-176B，在 C-Eval(hard)基準(zhǔn)測試中的性能優(yōu)于 GLM-130B。