微軟開(kāi)發(fā)新型大模型壓縮方法SliceGPT

　　1月29日 消息:SliceGPT是微軟開(kāi)發(fā)的一種新型的大語(yǔ)言模型壓縮方法。通過(guò)SLICE GPT，可以在保持99%，99%，和90%零樣本任務(wù)性能的同時(shí)，將LLAMA2-70B、OPT66B和Phi-2模型分別去除高達(dá)25%的模型參數(shù)(包括嵌入)。

　　這意味著使用SLICE GPT的模型可以在更少的GPU上運(yùn)行，并且運(yùn)行速度更快，無(wú)需任何額外的代碼優(yōu)化。在24GB的消費(fèi)級(jí)GPU上，將LLAMA2-70B的總計(jì)算量減少到密集模型的64%;在40GB的A100GPU上減少到66%。

　　SLICE GPT的主要特點(diǎn)包括解決了大語(yǔ)言模型在存儲(chǔ)和計(jì)算資源上的高需求問(wèn)題，并提供了一種有效減輕這些資源需求的方法，同時(shí)保持或僅輕微犧牲模型性能，這對(duì)于推廣大型模型的應(yīng)用和降低運(yùn)行成本具有重要意義。

　　具體來(lái)說(shuō)，SLICE GPT能夠減少大型語(yǔ)言模型的尺寸，通過(guò)在不損失顯著性能的前提下，減少模型參數(shù)數(shù)量，SLICE GPT能夠減少大型語(yǔ)言模型的尺寸。它還能提高模型在硬件上的運(yùn)行效率，減少了所需的計(jì)算資源，并且能夠在去除一定比例的模型參數(shù)的同時(shí)，保持模型的性能。此外，SLICE GPT不僅適用于特定的模型或架構(gòu)，它的方法可以廣泛應(yīng)用于各種變換器網(wǎng)絡(luò)模型。

　　SLICE GPT的工作原理基于一種新的后訓(xùn)練稀疏化方案，通過(guò)兩個(gè)關(guān)鍵步驟來(lái)減少大型語(yǔ)言模型的計(jì)算和內(nèi)存需求。首先是替換權(quán)重矩陣，通過(guò)將模型中的每個(gè)權(quán)重矩陣替換為一個(gè)更小的(密集的)矩陣來(lái)減少網(wǎng)絡(luò)的嵌入維度，有效地縮減了模型的大小。

　　其次是維持計(jì)算不變性，SLICE GPT引入了變換器網(wǎng)絡(luò)中的“計(jì)算不變性”概念，通過(guò)特定的變換操作，改變權(quán)重矩陣的形狀，而不改變其在模型中的功能和影響，從而達(dá)到減少模型參數(shù)的目的，同時(shí)保持模型的性能。這種方法的核心優(yōu)勢(shì)在于，它允許模型在去除一定比例的參數(shù)后，仍然能夠保持接近原始模型的性能，適用于資源受限的設(shè)備上部署大型模型，比如普通的個(gè)人電腦或者移動(dòng)設(shè)備。