vivo大模型云端方案現(xiàn)身C-Eval，部分指標(biāo)接近 GPT-4

2023年08月16日 09:31:29 來(lái)源：DoNews

　　8月16日消息，繼華為小藝、小米小愛(ài)同學(xué)、OPPO 小布助手升級(jí) AI 大模型能力之后，vivo 也準(zhǔn)備在大模型領(lǐng)域發(fā)力。

　　目前，華為、小米、OPPO 相關(guān)大模型以及全新智能助手已經(jīng)開(kāi)始或即將開(kāi)始測(cè)試，而現(xiàn)在，vivo 自研大模型云端方案也已經(jīng)出現(xiàn)在 C-Eval 排行榜上，可能會(huì)在 OriginOS 4 中為 Jovi 助手帶來(lái)不一樣的東西。

　　C-Eval 是一個(gè)全面的中文基礎(chǔ)模型評(píng)估套件。它包含了 13948 個(gè)多項(xiàng)選擇題，涵蓋了人文、社科、理工以及其他專業(yè)四個(gè)大方向，包括 52 個(gè)不同的學(xué)科和四個(gè)難度級(jí)別。

　　從 C-Eval 給出的信息來(lái)看，vivo_Agent_LM_7B 是由 vivo AI 全球研究院自主研發(fā)的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型，從命名可以看出其有著 70 億參數(shù)。

　　只看最終結(jié)果的話，vivo_Agent_LM_7B 最終得分為 64.4 分，位列 C-Eval 第五名，與第二名的 GPT-4 十分接近，甚至在人文領(lǐng)域更強(qiáng)，而且在社會(huì)科學(xué)領(lǐng)域也有不錯(cuò)的表現(xiàn)。