清華大學(xué)提出全新加速訓(xùn)練大模型方法SoT

　　近日，微軟研究和清華大學(xué)的研究人員共同提出了一種名為“Skeleton-of-Thought(SoT)”的全新人工智能方法，旨在解決大型語(yǔ)言模型(LLMs)生成速度較慢的問(wèn)題。

　　盡管像GPT-4和LLaMA等LLMs在技術(shù)領(lǐng)域產(chǎn)生了深遠(yuǎn)影響，但其處理速度的不足一直是一個(gè)制約因素，特別是在對(duì)延遲敏感的應(yīng)用中，如聊天機(jī)器人、協(xié)同駕駛和工業(yè)控制器。SoT方法與傳統(tǒng)的性能提升方法不同，它不對(duì)LLMs進(jìn)行復(fù)雜的修改，而是將其視為黑匣子，并側(cè)重于優(yōu)化輸出內(nèi)容的組織結(jié)構(gòu)。

　　SoT引入了一個(gè)獨(dú)特的兩階段過(guò)程，首先引導(dǎo)LLM構(gòu)建答案的骨架，然后在第二階段使LLM同時(shí)擴(kuò)展骨架中的多個(gè)要點(diǎn)。這一方法不僅提高了LLMs的響應(yīng)速度，還在不需要對(duì)模型架構(gòu)進(jìn)行復(fù)雜調(diào)整的情況下實(shí)現(xiàn)了這一目標(biāo)。

　　為了評(píng)估SoT的有效性，研究團(tuán)隊(duì)對(duì)12個(gè)不同領(lǐng)域的模型進(jìn)行了廣泛測(cè)試，使用了Vicuna-80數(shù)據(jù)集，其中包含了來(lái)自編碼、數(shù)學(xué)、寫作和角色扮演等各個(gè)領(lǐng)域的問(wèn)題。

　　通過(guò)使用FastChat和LLMZoo的度量標(biāo)準(zhǔn)，研究團(tuán)隊(duì)觀察到SoT在八個(gè)模型上實(shí)現(xiàn)了1.13x到2.39x的速度提升，而且這些提升并沒(méi)有犧牲答案質(zhì)量。這表明SoT不僅可以顯著提高響應(yīng)速度，還能夠在各種問(wèn)題類別中保持或提升答案質(zhì)量。

　　因此，SoT方法為解決LLMs速度較慢的問(wèn)題提供了一種有前景的解決方案。研究團(tuán)隊(duì)的創(chuàng)新方法將LLMs視為黑匣子，并專注于數(shù)據(jù)級(jí)別的效率優(yōu)化，為加速內(nèi)容生成提供了新的視角。通過(guò)引導(dǎo)LLMs構(gòu)建答案的骨架，然后進(jìn)行并行擴(kuò)展，SoT有效地提高了響應(yīng)速度，為人工智能領(lǐng)域的動(dòng)態(tài)思維過(guò)程開辟了新的探索方向，鼓勵(lì)向更高效、更多才多藝的語(yǔ)言模型發(fā)展。