云知聲千億參數(shù)山海大模型首次亮相

　　8月28日，云知聲旗下山海大模型迎來(lái)又一次迭代升級(jí)，當(dāng)前版本參數(shù)規(guī)模達(dá)到千億，實(shí)現(xiàn)了多學(xué)科能力、醫(yī)療能力雙提升，實(shí)測(cè)性能在C-Eval全球大模型綜合性評(píng)測(cè)中超越GPT-4，以平均分70分的成績(jī)進(jìn)入前三甲。

　　C-Eval是由清華大學(xué)、上海交通大學(xué)和愛(ài)丁堡大學(xué)合作構(gòu)建的面向中文語(yǔ)言模型的綜合性考試評(píng)測(cè)集，包含13948道多項(xiàng)選擇題，涵蓋數(shù)學(xué)、物理、化學(xué)、生物、歷史、政治、計(jì)算機(jī)等52個(gè)不同學(xué)科和四個(gè)難度級(jí)別，是全球最具影響力的綜合性考試評(píng)測(cè)集之一。作為第三方發(fā)起的測(cè)試基準(zhǔn)， C-Eval以其客觀性、公正性備受業(yè)內(nèi)關(guān)注，也吸引了多家企業(yè)、機(jī)構(gòu)和高校的參與。

　　據(jù)悉，本次山海大模型2.0版參數(shù)規(guī)模達(dá)到千億，增加了更多的學(xué)科類的預(yù)訓(xùn)練語(yǔ)料，訓(xùn)練數(shù)據(jù)(Tokens)達(dá)到兩萬(wàn)億(2.0T)。

　　在本次模型升級(jí)過(guò)程中，山海團(tuán)隊(duì)充分利用了教材、文獻(xiàn)、百科類語(yǔ)料的價(jià)值，這些語(yǔ)料包含了人類對(duì)客觀世界知識(shí)的豐富理解、詳盡解釋以及在各個(gè)領(lǐng)域的深入研究所得到的科學(xué)結(jié)論。不同的學(xué)科領(lǐng)域的數(shù)據(jù)涵蓋了各自學(xué)科的專業(yè)知識(shí)，這在一定程度上彌補(bǔ)了第一版山海大模型在某些專業(yè)領(lǐng)域的知識(shí)盲區(qū)。

　　為了使模型能更科學(xué)合理地汲取這些不同領(lǐng)域和來(lái)源的數(shù)據(jù)中的知識(shí)，山海大模型團(tuán)隊(duì)使用了DoReMi方法對(duì)數(shù)據(jù)進(jìn)行了優(yōu)化權(quán)重采樣。

　　山海大模型作為云知大腦的核心，能力體系涵蓋語(yǔ)言生成、語(yǔ)言理解、知識(shí)問(wèn)答、 邏輯推理、代碼能力、數(shù)學(xué)能力等。此外，為提高大模型在具體場(chǎng)景的應(yīng)用落地水平，山海大模型在通用能力基礎(chǔ)上，增強(qiáng)物聯(lián)、醫(yī)療等行業(yè)能力，致力為客戶提供更智能、更靈活的解決方案，加速千行百業(yè)的智慧化升級(jí)。