南方科技大學(xué)聯(lián)合IDEA研究院發(fā)布 SUS-Chat-34B 雙語模型

　　南方科技大學(xué)聯(lián)合 IDEA 研究院 CCNL 中心發(fā)布了 SUS-Chat-34B，這是一個參數(shù)規(guī)模為340億的雙語模型。該模型在眾多中英文任務(wù)上表現(xiàn)出色，超越了其他同參數(shù)規(guī)模的模型。

　　SUS-Chat-34B基于01-ai/Yi-34B 預(yù)訓(xùn)練模型通過數(shù)百萬高質(zhì)量、多語言的指令數(shù)據(jù)進行了微調(diào)。

　　模型具有以下亮點:

　　大規(guī)模復(fù)雜指令跟隨數(shù)據(jù):使用1.4B token的高質(zhì)量復(fù)雜指令數(shù)據(jù)進行訓(xùn)練，涵蓋中英文、多輪對話、數(shù)學(xué)、推理等多種指令數(shù)據(jù);

　　強大的通用任務(wù)性能:SUS-Chat-34B模型在眾多主流的中英文任務(wù)上表現(xiàn)出色，其效果超越了相同參數(shù)規(guī)模的其他開源的指令微調(diào)模型。即使與更大參數(shù)規(guī)模的模型相比，SUS-Chat-34B模型也具有不錯的競爭力

　　更長的上下文窗口與出色的多輪對話能力:SUS-Chat-34B原生支持8K的上下文窗口，在大量多輪指令以及單多輪混合數(shù)據(jù)中進行訓(xùn)練，具有出色的長文本對話信息關(guān)注與指令跟隨能力。