蘋果與NVIDIA聯(lián)手提升AI模型生產(chǎn)效率 速度提升近三倍

　　近日，蘋果公司在機(jī)器學(xué)習(xí)領(lǐng)域的最新研究顯示，他們通過與 NVIDIA 的合作，成功將大型語(yǔ)言模型(LLM)的生成速度提高了近三倍。這一進(jìn)展的關(guān)鍵在于蘋果開源的技術(shù) “Recurrent Drafter”(ReDrafter)，它采用了一種推測(cè)解碼方法，能夠顯著提升模型訓(xùn)練的效率。

　　在過去，創(chuàng)建大型語(yǔ)言模型的過程通常非常耗時(shí)和耗資源，企業(yè)常常需要購(gòu)買大量的硬件設(shè)備，進(jìn)而增加了運(yùn)營(yíng)成本。2024年早些時(shí)候，蘋果發(fā)布了 ReDrafter，這一技術(shù)結(jié)合了遞歸神經(jīng)網(wǎng)絡(luò)和動(dòng)態(tài)樹關(guān)注的方法，能夠快速生成和驗(yàn)證標(biāo)記，較傳統(tǒng)的自動(dòng)回歸方法提升了3.5倍的標(biāo)記生成速度。

　　本周，蘋果進(jìn)一步宣布，他們與 NVIDIA 的合作將 ReDrafter 整合進(jìn) NVIDIA 的 TensorRT-LLM 推理加速框架。此舉將使得使用 NVIDIA GPU 的機(jī)器學(xué)習(xí)開發(fā)者能夠在生產(chǎn)環(huán)境中利用 ReDrafter 的加速功能。值得一提的是，雖然高性能的多 GPU 服務(wù)器通常價(jià)格昂貴，但此次合作能夠在降低延遲的同時(shí)減少所需硬件數(shù)量，帶來(lái)更為經(jīng)濟(jì)的解決方案。

　　在與 NVIDIA 進(jìn)行的基準(zhǔn)測(cè)試中，使用 ReDrafter 的生成效率得到了顯著提升，貪婪編碼模式下的每秒生成令牌速度提高了2.7倍。這意味著開發(fā)者們可以在更短的時(shí)間內(nèi)得到更多的結(jié)果，為用戶提供更快的服務(wù)體驗(yàn)。

　　蘋果公司在確認(rèn)與 NVIDIA 的合作后，也表示他們正在考慮使用亞馬遜的 Trainium2芯片來(lái)提升模型訓(xùn)練效率。預(yù)計(jì)使用 Trainium2進(jìn)行預(yù)訓(xùn)練的效率將比現(xiàn)有的硬件提升50%。