11月6日,李開復(fù)博士帶隊創(chuàng)辦的AI 2.0公司零一萬物,正式開源發(fā)布首款預(yù)訓(xùn)練大模型 Yi-34B。
根據(jù) Hugging Face 英文開源社區(qū)平臺和C-Eval 中文評測的最新榜單,Yi-34B預(yù)訓(xùn)練模型以黑馬姿態(tài)取得了多項 SOTA 國際最佳性能指標(biāo)認可,成為全球開源大模型“雙料冠軍”,這也是迄今為止唯一成功登頂 Hugging Face 全球開源模型排行榜的國產(chǎn)模型。
零一萬物創(chuàng)始人及CEO李開復(fù)博士表示:“零一萬物堅定進軍全球第一梯隊目標(biāo),從招的第一個人,寫的第一行代碼,設(shè)計的第一個模型開始,就一直抱著成為‘World's No.1’的初衷和決心。我們組成了一支有潛力對標(biāo) OpenAI、Google等一線大廠的團隊,經(jīng)歷了近半年的厚積薄發(fā),以穩(wěn)定的節(jié)奏和全球齊平的研究工程能力,交出了第一張極具全球競爭力的耀眼成績單。Yi-34B可以說不負眾望,一鳴驚人。”
Yi-34B 登頂全球英文及中文權(quán)威榜單No.1
零一萬物此次開源發(fā)布的Yi系列模型,包含34B和6B兩個版本。讓人驚艷的是,在Hugging Face 英文測試公開榜單 Pretrained 預(yù)訓(xùn)練開源模型排名中,Yi-34B 在各項性能上表現(xiàn)強勁,以70.72的分數(shù)位列全球第一,碾壓 LLaMA2-70B和 Falcon-180B等眾多大尺寸模型。
Hugging Face 是全球最受歡迎的大模型、數(shù)據(jù)集開源社區(qū),被認為是大模型領(lǐng)域的GitHub,在大模型英文能力測試中具有相當(dāng)權(quán)威性。對比參數(shù)量和性能,Yi-34B相當(dāng)于只用了不及LLaMA2-70B一半、Falcon-180B五分之一的參數(shù)量,取得了在各項測試任務(wù)中超越全球領(lǐng)跑者的成績。憑借出色表現(xiàn),躋身目前世界范圍內(nèi)開源最強基礎(chǔ)模型之列。
Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜,Yi-34B高居榜首(2023年11月5日)
來源(勾選 pretrained):https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
作為國產(chǎn)優(yōu)質(zhì)大模型, Yi-34B更“懂”中文。在C-Eval中文權(quán)威榜單排行榜上超越了全球所有開源模型。對比大模型標(biāo)桿GPT-4,在CMMLU、E-Eval、Gaokao 三個主要的中文指標(biāo)上,Yi-34B 也具有絕對優(yōu)勢,凸顯中文世界的優(yōu)異能力,更好地滿足國內(nèi)市場需求。
C-Eval 排行榜:公開訪問的模型,Yi-34B 全球第一(2023年11月5日)
從更為全面的評估看,在全球大模型各項評測中最關(guān)鍵的 “MMLU”(Massive Multitask Language Understanding 大規(guī)模多任務(wù)語言理解)、BBH等反映模型綜合能力的評測集上,Yi-34B 同樣表現(xiàn)突出,在通用能力、知識推理、閱讀理解等多項指標(biāo)評比中全部勝出,與 Hugging Face 評測高度一致。
各評測集得分:Yi 模型 v.s. 其他開源模型
但和 LLaMA2一樣,Yi系列模型在GSM8k、MBPP 的數(shù)學(xué)和代碼評測表現(xiàn)略遜GPT模型。由于零一萬物的技術(shù)路線傾向于在預(yù)訓(xùn)練階段盡可能保留模型的通用能力,因此沒有加入過多的數(shù)學(xué)和代碼數(shù)據(jù)。研究團隊此前在《Mammoth: Building math generalist models through hybrid instruction tuning》等研究工作中針對數(shù)學(xué)方向進行過深度探索,在未來,零一萬物的系列開源計劃中將推出代碼能力和數(shù)學(xué)能力專項的繼續(xù)訓(xùn)練模型。
全球最長200K上下文窗口,40萬字文本極速處理,直接開源
值得注意的是,此次開源的Yi-34B模型,將發(fā)布全球最長、可支持200K 超長上下文窗口(context window)版本,可以處理約40萬漢字超長文本輸入。相比之下,OpenAI的GPT-4上下文窗口只有32K,文字處理量約2.5萬字。今年三月,硅谷知名 AI 2.0 創(chuàng)業(yè)公司Anthropic的Claude2-100K 將上下文窗口擴展到了100K規(guī)模,零一萬物直接加倍,并且是第一家將超長上下文窗口在開源社區(qū)開放的大模型公司。
在語言模型中,上下文窗口是大模型綜合運算能力的金指標(biāo)之一,對于理解和生成與特定上下文相關(guān)的文本至關(guān)重要,擁有更長窗口的語言模型可以處理更豐富的知識庫信息,生成更連貫、準(zhǔn)確的文本。
此外,在文檔摘要、基于文檔的問答等下游任務(wù)中,長上下文的能力發(fā)揮著關(guān)鍵作用,行業(yè)應(yīng)用場景廣闊。在法律、財務(wù)、傳媒、檔案整理等諸多垂直場景里,更準(zhǔn)確、更連貫、速度更快的長文本窗口功能,可以成為人們更可靠的AI助理,讓生產(chǎn)力迅猛提升。然而,受限于計算復(fù)雜度、數(shù)據(jù)完備度等問題,上下文窗口規(guī)模擴充從計算、內(nèi)存和通信的角度存在各種挑戰(zhàn),因此大多數(shù)發(fā)布的大型語言模型僅支持幾千tokens的上下文長度。
為了解決這個限制,零一萬物技術(shù)團隊實施了一系列優(yōu)化,包括:計算通信重疊、序列并行、通信壓縮等。通過這些能力增強,實現(xiàn)了在大規(guī)模模型訓(xùn)練中近100倍的能力提升,也為Yi系列模型上下文規(guī)模下一次躍升儲備了充足“電力”。
Yi-34B的200K上下文窗口直接開源,不僅能提供更豐富的語義信息,理解超過1000頁的PDF文檔,讓很多依賴于向量數(shù)據(jù)庫構(gòu)建外部知識庫的場景,都可以用上下文窗口來進行替代。Yi-34B的開源屬性也給想要在更長上下文窗口進行微調(diào)的開發(fā)者提供了更多的可能性。
AI Infra 是大模型核心護城河,實測實現(xiàn)40%訓(xùn)練成本下降
AI Infra(AI Infrastructure 人工智能基礎(chǔ)架構(gòu)技術(shù))主要涵蓋大模型訓(xùn)練和部署提供各種底層技術(shù)設(shè)施,包括處理器、操作系統(tǒng)、存儲系統(tǒng)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施、云計算平臺等等,是模型訓(xùn)練背后極其關(guān)鍵的“保障技術(shù)”,這是大模型行業(yè)至今較少受到關(guān)注的硬技術(shù)領(lǐng)域。
李開復(fù)曾經(jīng)表示,“做過大模型Infra的人比做算法的人才更稀缺”。在打造“World's No.1"梯隊時,超強的Infra 能力是大模型研發(fā)的核心護城河之一。如果說訓(xùn)練大模型是登山,Infra的能力定義了大模型訓(xùn)練算法和模型的能力邊界,也就是“登山高度”的天花板。在芯片、GPU等算力資源緊缺的當(dāng)下,安全和穩(wěn)定成為大模型訓(xùn)練的生命線。零一萬物的 Infra 技術(shù)通過“高精度”系統(tǒng)、彈性訓(xùn)和接力訓(xùn)等全棧式解決方案,確保訓(xùn)練高效、安全地進行。
憑借強大的 AI Infra 支撐,零一萬物團隊能實現(xiàn)超越行業(yè)水平的訓(xùn)練效果,Yi-34B模型訓(xùn)練成本實測下降40%,實際訓(xùn)練完成達標(biāo)時間與預(yù)測的時間誤差不到一小時,進一步模擬上到千億規(guī)模訓(xùn)練成本可下降多達50%。截至目前,零一萬物Infra能力實現(xiàn)故障預(yù)測準(zhǔn)確率超過90%,故障提前發(fā)現(xiàn)率達到99.9%,不需要人工參與的故障自愈率超過95%,有力保障了模型訓(xùn)練的順暢進行。
在 Yi 開源模型的全球首發(fā)日,零一萬物CEO李開復(fù)也宣布,在完成 Yi-34B 預(yù)訓(xùn)練的同時,已經(jīng)旋即啟動下一個千億參數(shù)模型的訓(xùn)練。“零一萬物的數(shù)據(jù)處理管線、算法研究、實驗平臺、GPU 資源和 AI Infra 都已經(jīng)準(zhǔn)備好,我們的動作會越來越快”。
深研“規(guī);(xùn)練實驗平臺”,從“粗放煉丹”進階到 “科學(xué)訓(xùn)模”
耀眼成績的取得,源于零一萬物潛心數(shù)月練就的大模型 “科學(xué)訓(xùn)模”方法論。
眾所周知,大模型效果依賴于更多、更高質(zhì)量的數(shù)據(jù),零一萬物在數(shù)據(jù)處理管線上可謂“不惜成本”。由前Google大數(shù)據(jù)和知識圖譜專家領(lǐng)銜的數(shù)據(jù)團隊,憑對數(shù)據(jù)的深度理解與認知,結(jié)合大量數(shù)據(jù)處理實驗,建設(shè)了高效、自動、可評價、可擴展的智能數(shù)據(jù)處理管線。
不僅如此,經(jīng)過幾個月大量的建模和實驗,零一萬物自研出一套“規(guī);(xùn)練實驗平臺”,用來指導(dǎo)模型的設(shè)計和優(yōu)化。數(shù)據(jù)配比、超參搜索、模型結(jié)構(gòu)實驗都可以在小規(guī)模實驗平臺上進行,對34B模型每個節(jié)點的預(yù)測誤差都可以控制在0.5%以內(nèi)。掌握了更強的模型預(yù)測能力,從而大大減少了進行對比實驗需要的資源,也減少了訓(xùn)練誤差對于計算資源的浪費。
數(shù)據(jù)處理管線和加大規(guī)模預(yù)測的訓(xùn)練能力建設(shè),把以往的大模型訓(xùn)練碰運氣的“煉丹”過程變得極度細致和科學(xué)化,不僅保證了目前發(fā)布Yi-34B、Yi-6B模型的高性能,也為未來更大規(guī)模模型的訓(xùn)練壓縮了時間和成本,有能力以領(lǐng)先于行業(yè)的速度,將模型規(guī)模“絲滑”擴大到數(shù)倍。
零一萬物團隊首度亮相,臥虎藏龍齊聚行業(yè)巨頭人才
零一萬物的團隊臥虎藏龍,成員來自Google、微軟、阿里巴巴、百度、字節(jié)跳動、騰訊等國內(nèi)外頂級企業(yè)背景,并持續(xù)延攬全球范圍內(nèi)最優(yōu)秀的華人AI精英。
零一萬物算法和模型團隊成員,有論文曾被GPT-4引用的算法大拿,有獲得過微軟內(nèi)部研究大獎的優(yōu)秀研究員,曾獲得過阿里CEO特別獎的超級工程師。總計在ICLR、NeurIPS、CVPR、ICCV等知名學(xué)術(shù)會議上發(fā)表過大模型相關(guān)學(xué)術(shù)論文100余篇。
零一萬物技術(shù)副總裁及AI Alignment負責(zé)人是 Google Bard/Assistant 早期核心成員,主導(dǎo)或參與了從 Bert、LaMDA 到大模型在多輪對話、個人助理、AI Agent 等多個方向的研究和工程落地;首席架構(gòu)師曾在Google Brain與Jeff Dean、Samy Bengio等合作,為TensorFlow的核心創(chuàng)始成員之一。
首次發(fā)布的背后主力戰(zhàn)將,零一萬物技術(shù)副總裁及 Pretrain 負責(zé)人黃文灝是通用人工智能 AGI 的信仰者,他曾先后任職于微軟亞洲研究院和智源研究院。 在微軟從事AI Agent研究工作時,得到微軟創(chuàng)始人比爾·蓋茨和CEO 薩提亞·納德拉的高度贊揚。
而支持 Yi 模型訓(xùn)練保障交付的零一萬物技術(shù)副總裁及AI Infra負責(zé)人戴宗宏,是前華為云 AI CTO 及技術(shù)創(chuàng)新部長、前阿里達摩院 AI Infra 總監(jiān)。Infra核心團隊主要來自于阿里、華為、微軟、商湯,是AI 多領(lǐng)域具有高水平研究及系統(tǒng)研發(fā)能力的頂尖專家,曾經(jīng)參與支持了4個千億參數(shù)大模型規(guī);(xùn)練,管理過數(shù)萬張GPU卡,夯實了端到端的全棧AI技術(shù)能力,零一萬物可說是具備一支行業(yè)內(nèi)少有的 AI Infra “技術(shù)天團”。
打造更多ToC Super App,培育新型“AI-first”創(chuàng)新生態(tài)
零一萬物認為,34B的模型尺寸在開源社區(qū)屬于稀缺的“黃金比例”尺寸。相比目前開源社區(qū)主流的7B、13B等尺寸,34B模型具備更優(yōu)越的知識容量、下游任務(wù)的容納能力和多模態(tài)能力,也達到了大模型 “涌現(xiàn)”的門檻。
在精度上,不少開發(fā)者都表示7B、13B開源模型在很多場景下無法滿足需求,追求更好的性能需要使用30B以上的模型,但一直沒有合適的選擇,高質(zhì)量的Yi-34B的出現(xiàn),順利解決了開源社群這一剛性需求。
而比起更大的 50B至70B,34B是單卡推理可接受的模型尺寸的上限,訓(xùn)練成本對開發(fā)者更友好,經(jīng)過量化的模型可以在一張消費級顯卡(如4090)上進行高效率的推理,對開發(fā)者操作服務(wù)部署有很大的優(yōu)勢。
接下來,零一萬物將基于Yi系列大模型,打造更多To C超級應(yīng)用。李開復(fù)強調(diào),“AI 2.0是有史以來最大的科技革命,它帶來的改變世界的最大機會一定是平臺和技術(shù),正如PC時代的微軟Office,移動互聯(lián)網(wǎng)時代的微信、抖音、美團一樣,商業(yè)化爆發(fā)式增長概率最高的一定是ToC應(yīng)用。零一萬物邀請開發(fā)者社群跟我們一起搭建Yi開源模型的應(yīng)用生態(tài)系,協(xié)力打造AI 2.0時代的超級應(yīng)用。”
目前,Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開源社區(qū)平臺正式上線,同時開放商用申請,給開發(fā)者在使用LLM的過程中提供更多、更優(yōu)質(zhì)的選擇。
本次開源的基座模型包括200K上下文窗口的基座模型,基座模型進行了比較均衡的IQ和EQ的配置,保留了后續(xù)進行不同方向微調(diào)的可能性。為了能讓語言模型有更好的應(yīng)用效果,廣大開發(fā)者可以基于基座模型進行微調(diào),GitHub 01Yi 開源網(wǎng)頁上已經(jīng)提供了簡單的微調(diào)代碼,同時模型和主流語言模型微調(diào)框架兼容,開發(fā)者可以自行進行適配。
接下來,零一萬物還將基于Yi 基座模型,快節(jié)奏開源發(fā)布一系列的量化版本、對話模型、數(shù)學(xué)模型、代碼模型和多模態(tài)模型等,邀請開發(fā)者積極投入,共同促進語言模型開源社區(qū)的繁榮發(fā)展,培育新型“AI-first”創(chuàng)新生態(tài)體系。
希望有更多的開發(fā)者使用Yi系列模型,打造自己場景中的“ChatGPT”,引領(lǐng)下一代前沿創(chuàng)新和商業(yè)模型,探索走向通用人工智能的先進能力!
“Yi” 系列大模型:命名來自“一”的拼音,“Yi”中的“Y”上下顛倒,巧妙形同漢字的 “人”,結(jié)合AI里的 i,代表 Human + AI。零一萬物相信 AI 賦能推動人類社會前行,AI 應(yīng)本著以人為本的精神,為人類創(chuàng)造巨大的價值。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。