大型語(yǔ)言模型(LLM),如GPT-3、PaLM和OPT,以其卓越的性能和能夠在上下文中學(xué)習(xí)的能力,令人嘆為觀止。然而,它們?cè)谕茢鄷r(shí)的高成本是它們的顯著缺點(diǎn)。為了解決這一挑戰(zhàn),研究團(tuán)隊(duì)提出了DEJAVU系統(tǒng),該系統(tǒng)采用了一種經(jīng)濟(jì)高效的算法,結(jié)合異步和硬件感知的實(shí)施,動(dòng)態(tài)預(yù)測(cè)每一層的上下文稀疏性,從而提高LLM的推斷速度。
為了定義適用于LLM的理想稀疏性,研究團(tuán)隊(duì)提出了三個(gè)關(guān)鍵標(biāo)準(zhǔn):不需要模型重新訓(xùn)練、保持質(zhì)量和上下文學(xué)習(xí)能力以及提高現(xiàn)代硬件上的時(shí)鐘時(shí)間速度。為了滿足這些要求,他們引入了上下文稀疏性的概念,該概念包括產(chǎn)生與給定輸入幾乎相同結(jié)果的小型、依賴于輸入的注意力頭和MLP參數(shù)的子集,而無(wú)需完全模型。DEJAVU利用上下文稀疏性,使LLM在具有嚴(yán)格延遲約束的應(yīng)用中更加高效。
具體來(lái)說(shuō),研究人員提出了一種低成本的、基于學(xué)習(xí)的算法,用于實(shí)時(shí)預(yù)測(cè)稀疏性。給定特定層的輸入,該算法預(yù)測(cè)后續(xù)層中的相關(guān)注意力頭或MLP參數(shù)的子集,并僅為計(jì)算加載它們。他們還引入了一種異步預(yù)測(cè)器,類似于經(jīng)典的分支預(yù)測(cè)器,以減少順序開(kāi)銷。通過(guò)引入硬件感知的稀疏矩陣乘法實(shí)施,DEJAVU顯著降低了開(kāi)源LLM(如OPT-175B)的延遲。它在端到端延遲上超過(guò)了Nvidia的FasterTransformer庫(kù),而在小批量大小下也超過(guò)了廣泛使用的Hugging Face實(shí)現(xiàn)。
這項(xiàng)研究表明,DEJAVU有效地利用了異步前瞻預(yù)測(cè)器和硬件高效稀疏性,以提高LLM的時(shí)鐘時(shí)間推斷。這些有前途的實(shí)驗(yàn)結(jié)果突顯了上下文稀疏性在顯著減少推斷延遲方面的潛力,相較于現(xiàn)有模型,這項(xiàng)研究使LLM更容易被更廣泛的AI社區(qū)使用,可能開(kāi)啟令人興奮的新的AI應(yīng)用。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。