百川智能推出大模型Baichuan2-192K，一次可輸入35萬(wàn)字超越Claude2

　　10月30日，百川智能發(fā)布Baichuan2-192K大模型。其上下文窗口長(zhǎng)度高達(dá)192K，是目前全球最長(zhǎng)的上下文窗口。Baichuan2-192K能夠處理約35萬(wàn)個(gè)漢字，是目前支持長(zhǎng)上下文窗口最優(yōu)秀大模型Claude2(支持100K上下文窗口，實(shí)測(cè)約8萬(wàn)字)的 4.4倍，更是 GPT-4(支持32K上下文窗口，實(shí)測(cè)約 2.5萬(wàn)字)的14倍。

　　Baichuan2-192K不僅在上下文窗口長(zhǎng)度上超越Claude2，在長(zhǎng)窗口文本生成質(zhì)量、長(zhǎng)上下文理解以及長(zhǎng)文本問(wèn)答、摘要等方面的表現(xiàn)也全面領(lǐng)先Claude2。

　　今年9月25日，百川智能已開(kāi)放了Baichuan2的API接口，正式進(jìn)軍企業(yè)級(jí)市場(chǎng)，開(kāi)啟商業(yè)化進(jìn)程。此次Baichuan2-192K將以API調(diào)用和私有化部署的方式提供給企業(yè)用戶，目前百川智能已經(jīng)啟動(dòng)Baichuan2-192K的API內(nèi)測(cè)，開(kāi)放給法律、媒體、金融等行業(yè)的核心合作伙伴。

　　10項(xiàng)長(zhǎng)文本評(píng)測(cè)7項(xiàng)取得SOTA，全面領(lǐng)先Claude2

　　上下文窗口長(zhǎng)度是大模型的核心技術(shù)之一，通過(guò)更大的上下文窗口，模型能夠結(jié)合更多上下文內(nèi)容獲得更豐富的語(yǔ)義信息，更好的捕捉上下文的相關(guān)性、消除歧義，進(jìn)而更加準(zhǔn)確、流暢的生成內(nèi)容，提升模型能力。

　　Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10項(xiàng)中英文長(zhǎng)文本問(wèn)答、摘要的評(píng)測(cè)集上表現(xiàn)優(yōu)異，有7項(xiàng)取得SOTA，顯著超過(guò)其他長(zhǎng)窗口模型。

　　此外，LongEval的評(píng)測(cè)結(jié)果顯示，在窗口長(zhǎng)度超過(guò)100K后Baichuan2-192K依然能夠保持非常強(qiáng)勁的性能，而其他開(kāi)源或者商用模型在窗口增長(zhǎng)后效果都出現(xiàn)了近乎直線下降的情況。Claude2也不例外，在窗口長(zhǎng)度超過(guò)80K后整體效果下降非常嚴(yán)重。由此可見(jiàn)，Baichuan2-192K的長(zhǎng)窗口內(nèi)容記憶和理解能力大幅領(lǐng)先其他模型。

　　(LongEval是加州大學(xué)伯克利分校聯(lián)合其他高校發(fā)布的針對(duì)長(zhǎng)窗口模型的評(píng)測(cè)榜單，主要用來(lái)衡量模型對(duì)長(zhǎng)窗口內(nèi)容的記憶和理解能力，是業(yè)內(nèi)公認(rèn)的長(zhǎng)上下文窗口理解權(quán)威評(píng)測(cè)榜單)

　　動(dòng)態(tài)采樣的位置編碼優(yōu)化，4D并行的分布式方案，同步提升窗口長(zhǎng)度和模型性能

　　擴(kuò)大上下文窗口能有效提升大模型性能是人工智能行業(yè)的共識(shí)，但是超長(zhǎng)上下文窗口意味著更高的算力需求和更大的顯存壓力。目前，業(yè)內(nèi)有很多提升上下文窗口長(zhǎng)度的方式，包括滑動(dòng)窗口、降采樣、小模型等。這些方式雖然能提升上下文窗口長(zhǎng)度，但對(duì)模型性能均有不同程度的損害，換言之都是通過(guò)犧牲模型其他方面的性能來(lái)?yè)Q取更長(zhǎng)的上下文窗口。

　　而本次百川發(fā)布的Baichuan2-192K通過(guò)算法和工程的極致優(yōu)化，實(shí)現(xiàn)了窗口長(zhǎng)度和模型性能之間的平衡，做到了窗口長(zhǎng)度和模型性能的同步提升。

　　算法方面，百川智能提出了一種針對(duì)RoPE和ALiBi動(dòng)態(tài)位置編碼的外推方案，該方案能夠?qū)Σ煌�長(zhǎng)度的ALiBi位置編碼進(jìn)行不同程度的Attention-mask動(dòng)態(tài)內(nèi)插，在保證分辨率的同時(shí)增強(qiáng)了模型對(duì)長(zhǎng)序列依賴的建模能力。在長(zhǎng)文本困惑度標(biāo)準(zhǔn)評(píng)測(cè)數(shù)據(jù) PG-19上，當(dāng)窗口長(zhǎng)度擴(kuò)大，Baichuan2-192K的序列建模能力持續(xù)增強(qiáng)。

　　(PG-19是DeepMind發(fā)布的語(yǔ)言建�；鶞�(zhǔn)數(shù)據(jù)集，是業(yè)內(nèi)公認(rèn)的衡量模型長(zhǎng)程記憶推理問(wèn)題的評(píng)測(cè)標(biāo)準(zhǔn))

　　工程方面，在自主開(kāi)發(fā)的分布式訓(xùn)練框架基礎(chǔ)上，百川智能整合目前市場(chǎng)上所有先進(jìn)的優(yōu)化技術(shù)，包括張量并行、流水并行、序列并行、重計(jì)算以及Offload功能等，獨(dú)創(chuàng)了一套全面的4D并行分布式方案。該方案能夠根據(jù)模型具體的負(fù)載情況，自動(dòng)尋找最適合的分布式策略，極大降低了長(zhǎng)窗口訓(xùn)練和推理過(guò)程中的顯存占用。

　　百川智能在算法和工程上針對(duì)長(zhǎng)上下文窗口的創(chuàng)新，不僅是大模型技術(shù)層面的突破，對(duì)于學(xué)術(shù)領(lǐng)域同樣有著重要意義。Baichuan2-192K驗(yàn)證了長(zhǎng)上下文窗口的可行性，為大模型性能提升開(kāi)拓出了新的科研路徑。

　　Baichuan2-192K正式開(kāi)啟內(nèi)測(cè)，已落地法律、媒體等諸多真實(shí)場(chǎng)景

　　Baichuan2-192K現(xiàn)已正式開(kāi)啟內(nèi)測(cè)，以API調(diào)用的方式開(kāi)放給百川智能的核心合作伙伴，已經(jīng)與財(cái)經(jīng)類媒體及律師事務(wù)所等機(jī)構(gòu)達(dá)成了合作，將Baichuan2-192K全球領(lǐng)先的長(zhǎng)上下文能力應(yīng)用到了傳媒、金融、法律等具體場(chǎng)景當(dāng)中，不久后將全面開(kāi)放。

　　全面開(kāi)放API之后，Baichuan2-192K便能夠與更多的垂直場(chǎng)景深度結(jié)合，真正在人們的工作、生活、學(xué)習(xí)中發(fā)揮作用，助力行業(yè)用戶更好的降本增效。Baichuan2-192K 能夠一次性處理和分析數(shù)百頁(yè)的材料，對(duì)于長(zhǎng)篇文檔關(guān)鍵信息提取與分析，長(zhǎng)文檔摘要、長(zhǎng)文檔審核、長(zhǎng)篇文章或報(bào)告編寫、復(fù)雜編程輔助等真實(shí)場(chǎng)景都有巨大的助力作用。

　　它可以幫助基金經(jīng)理總結(jié)和解釋財(cái)務(wù)報(bào)表，分析公司的風(fēng)險(xiǎn)和機(jī)遇;幫助律師識(shí)別多個(gè)法律文件中的風(fēng)險(xiǎn)，審核合同和法律文件;幫助技術(shù)人員閱讀數(shù)百頁(yè)的開(kāi)發(fā)文檔，并回答技術(shù)問(wèn)題;還能幫助科員人員快速瀏覽大量論文，總結(jié)最新的前沿進(jìn)展。

　　不僅如此，更長(zhǎng)的上下文還為其更好的處理和理解復(fù)雜的多模態(tài)輸入，以及實(shí)現(xiàn)更好的遷移學(xué)習(xí)提供了底層支撐，這將為行業(yè)探索Agent、多模態(tài)應(yīng)用等前沿領(lǐng)域打下良好技術(shù)基礎(chǔ)。