智源研究院開源中英雙語(yǔ)大模型悟道·天鷹340億Aquila2-34B

　　智源研究院發(fā)布了最強(qiáng)開源中英雙語(yǔ)大模型 —— 悟道・天鷹340億 (Aquila2-34B)。這個(gè)新模型在推理、泛化等方面表現(xiàn)出色，在智能體、代碼生成、文獻(xiàn)檢索等場(chǎng)景方面取得了一系列成績(jī)。

　　同時(shí)，智源研究院還發(fā)布了開源全家桶，包括 Aquila2模型系列、語(yǔ)義向量模型 BGE 的新版本、FlagScale 高效并行訓(xùn)練框架、FlagAttention 高性能 Attention 算子集。這些開源項(xiàng)目將促進(jìn)大模型研究的協(xié)同創(chuàng)新。

　　據(jù)悉，Aquila2-34B 基座模型在綜合能力方面超越了 Llama2-70B 和其他開源基座模型。AquilaChat2-34B 對(duì)話模型在綜合評(píng)測(cè)中領(lǐng)先，而 AquilaChat2-7B 在同量級(jí)對(duì)話模型中取得最佳成績(jī)。AquilaChat2-34B 在推理能力方面僅次于 GPT4。AquilaChat2-34B-16K 通過(guò)擴(kuò)展上下文窗口長(zhǎng)度到16K，在長(zhǎng)文本任務(wù)中取得了領(lǐng)先水平。

　　此外，智源團(tuán)隊(duì)還開發(fā)了 NLPE 方法來(lái)提升模型的外延能力。AquilaSQL 成為最優(yōu)的文本 - SQL 語(yǔ)言生成模型。智源研究院還發(fā)布了 FlagScale 高效并行訓(xùn)練框架和 FlagAttention 高性能 Attention 算子集，進(jìn)一步推動(dòng)大模型研究的發(fā)展。