超強(qiáng)大模型DEJAVU 推理速度是FasterTransformer的2倍

　　大型語言模型(LLM)，如GPT-3、PaLM和OPT，以其卓越的性能和能夠在上下文中學(xué)習(xí)的能力，令人嘆為觀止。然而，它們在推斷時(shí)的高成本是它們的顯著缺點(diǎn)。為了解決這一挑戰(zhàn)，研究團(tuán)隊(duì)提出了DEJAVU系統(tǒng)，該系統(tǒng)采用了一種經(jīng)濟(jì)高效的算法，結(jié)合異步和硬件感知的實(shí)施，動(dòng)態(tài)預(yù)測每一層的上下文稀疏性，從而提高LLM的推斷速度。

　　為了定義適用于LLM的理想稀疏性，研究團(tuán)隊(duì)提出了三個(gè)關(guān)鍵標(biāo)準(zhǔn):不需要模型重新訓(xùn)練、保持質(zhì)量和上下文學(xué)習(xí)能力以及提高現(xiàn)代硬件上的時(shí)鐘時(shí)間速度。為了滿足這些要求，他們引入了上下文稀疏性的概念，該概念包括產(chǎn)生與給定輸入幾乎相同結(jié)果的小型、依賴于輸入的注意力頭和MLP參數(shù)的子集，而無需完全模型。DEJAVU利用上下文稀疏性，使LLM在具有嚴(yán)格延遲約束的應(yīng)用中更加高效。

　　具體來說，研究人員提出了一種低成本的、基于學(xué)習(xí)的算法，用于實(shí)時(shí)預(yù)測稀疏性。給定特定層的輸入，該算法預(yù)測后續(xù)層中的相關(guān)注意力頭或MLP參數(shù)的子集，并僅為計(jì)算加載它們。他們還引入了一種異步預(yù)測器，類似于經(jīng)典的分支預(yù)測器，以減少順序開銷。通過引入硬件感知的稀疏矩陣乘法實(shí)施，DEJAVU顯著降低了開源LLM(如OPT-175B)的延遲。它在端到端延遲上超過了Nvidia的FasterTransformer庫，而在小批量大小下也超過了廣泛使用的Hugging Face實(shí)現(xiàn)。

　　這項(xiàng)研究表明，DEJAVU有效地利用了異步前瞻預(yù)測器和硬件高效稀疏性，以提高LLM的時(shí)鐘時(shí)間推斷。這些有前途的實(shí)驗(yàn)結(jié)果突顯了上下文稀疏性在顯著減少推斷延遲方面的潛力，相較于現(xiàn)有模型，這項(xiàng)研究使LLM更容易被更廣泛的AI社區(qū)使用，可能開啟令人興奮的新的AI應(yīng)用。