亞馬遜云科技成功助力TII訓(xùn)練400億參數(shù)規(guī)模的大語(yǔ)言模型Falcon 40B

　　6月7日，亞馬遜云科技宣布，位于阿聯(lián)酋首都阿布扎比的全球領(lǐng)先科研中心TII(Technology Innovation Institute)在亞馬遜云科技上訓(xùn)練了其性能卓越的開源模型Falcon 40B。Falcon 40B是擁有400 億參數(shù)的大語(yǔ)言模型(LLM)，在Apache 2.0許可下提供，并在Hugging Face的開源大語(yǔ)言模型排行榜上位列榜首。該排行榜在多個(gè)基準(zhǔn)測(cè)試中跟蹤、排名和評(píng)估大語(yǔ)言模型，最終評(píng)選出最佳模型�？蛻衄F(xiàn)在可以將Falcon 40B部署在Amazon SageMaker JumpStart上，這是一個(gè)機(jī)器學(xué)習(xí)中心，提供預(yù)訓(xùn)練模型，使客戶無需從頭構(gòu)建自己的模型即可獲得Falcon 40B最先進(jìn)的準(zhǔn)確性和行業(yè)領(lǐng)先的性能。

　　大語(yǔ)言模型是機(jī)器學(xué)習(xí)(ML)模型的一個(gè)分支，專注于語(yǔ)言領(lǐng)域，可以支持各類生成式AI應(yīng)用，包括文本處理、總結(jié)摘要和會(huì)話問答。雖然這些大語(yǔ)言模型具有改變行業(yè)的潛力，但構(gòu)建、訓(xùn)練和部署大語(yǔ)言模型可能需要數(shù)周甚至數(shù)月的時(shí)間，并耗資數(shù)千萬美元，這將許多公司拒之門外。為了在整個(gè)開發(fā)過程中實(shí)現(xiàn)更好的性能和成本效益，包括Stability AI、AI21 Labs、Hugging Face和LG AI在內(nèi)的眾多客戶使用亞馬遜云科技端到端的機(jī)器學(xué)習(xí)服務(wù)Amazon SageMaker來構(gòu)建、訓(xùn)練和部署他們的大語(yǔ)言模型。

　　這也正是TII使用Amazon SageMaker構(gòu)建其Falcon 40B模型的原因。得益于SageMaker是一項(xiàng)完全托管的服務(wù)，TII可以專注于開發(fā)自定義的訓(xùn)練機(jī)制和優(yōu)化功能，而無需管理其機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施。為了最大限度地降低訓(xùn)練成本并縮短上市時(shí)間，TII采取了多項(xiàng)優(yōu)化措施，包括編寫自定義矩陣乘法以加快訓(xùn)練速度。在整個(gè)訓(xùn)練過程中，亞馬遜云科技還與TII密切合作以利用SageMaker增強(qiáng)可用性，確保訓(xùn)練順利進(jìn)行，減少對(duì)開發(fā)人員的干擾。

　　TII于2023年5月在Apache 2.0許可下發(fā)布了其Falcon 40B模型。自發(fā)布以來，F(xiàn)alcon 40B 在各種基準(zhǔn)測(cè)試中的表現(xiàn)都優(yōu)于當(dāng)下的同類模型，展示了無需專門微調(diào)的卓越性能。為了讓客戶更輕松地訪問該模型，亞馬遜云科技讓Falcon 40B可以通過Amazon SageMaker Jumpstart部署�，F(xiàn)在，各個(gè)行業(yè)、各種規(guī)模的客戶都可以快速輕松地部署自己的Falcon 40B模型，并對(duì)其進(jìn)行定制以滿足他們的特定需求，如翻譯、問答、信息總結(jié)、圖像識(shí)別等應(yīng)用程序。

　　“Falcon 40B的開源版本使機(jī)構(gòu)能夠利用其卓越性能來推動(dòng)AI賦能的解決方案的發(fā)展。這是我們致力于促進(jìn) AI 創(chuàng)新的重要里程碑，也體現(xiàn)阿聯(lián)酋深遠(yuǎn)的科學(xué)貢獻(xiàn)。”TII跨AI研究中心執(zhí)行總監(jiān)兼LLM項(xiàng)目負(fù)責(zé)人表示，“通過將Falcon大語(yǔ)言模型開源，我們希望將這一先進(jìn)的技術(shù)能力普惠化，為全球研究人員和組織賦能。下一步，我們即將推出新模型，為人工智能和先進(jìn)技術(shù)領(lǐng)域的進(jìn)一步發(fā)展做出貢獻(xiàn)。”