通義新一代輕量化大語言模型DistilQwen2.5 發(fā)布 提升性能與效率

　　在大語言模型逐漸普及的今天，如何在資源受限的環(huán)境中實現(xiàn)高效部署已成為重要課題。為了解決這一挑戰(zhàn)，基于 Qwen2.5的輕量化大模型系列 DistilQwen2.5正式發(fā)布。該模型采用了創(chuàng)新的雙層蒸餾框架，通過優(yōu)化數(shù)據(jù)和參數(shù)融合技術(shù)，不僅保留了模型的性能，同時顯著降低了計算資源的消耗。

　　DistilQwen2.5的成功得益于其獨特的知識蒸餾技術(shù)。這一過程首先需要大量高質(zhì)量的指令數(shù)據(jù)，這些數(shù)據(jù)來自多個開源數(shù)據(jù)集及私有合成數(shù)據(jù)集。為確保數(shù)據(jù)的多樣性，研究團(tuán)隊通過 Qwen-max 擴(kuò)展了中英文數(shù)據(jù)，從而實現(xiàn)了任務(wù)和語言的均衡。此后，模型通過采用 “黑盒化蒸餾” 的方式，利用教師模型的輸出進(jìn)行指令的擴(kuò)展、選擇與改寫。這種方法不僅提升了數(shù)據(jù)的質(zhì)量，還增強(qiáng)了模型的多任務(wù)處理能力。

　　值得注意的是，DistilQwen2.5還引入了白盒化蒸餾技術(shù)，通過模仿教師模型的 its 分布，使得學(xué)生模型在知識獲取上更為高效。這種技術(shù)避免了傳統(tǒng)白盒化蒸餾面臨的 GPU 內(nèi)存消耗、存儲與讀取速度慢等問題。

　　經(jīng)過多個權(quán)威指令遵循評測基準(zhǔn)的測試，DistilQwen2.5的表現(xiàn)令人矚目，尤其是在 AlpacaEval2.0和 MT-Bench 的評測中表現(xiàn)優(yōu)異。這標(biāo)志著輕量化大語言模型的發(fā)展進(jìn)入了一個新的階段，能夠在保證性能的前提下，大幅降低計算成本，進(jìn)一步推動了 AI 技術(shù)在各種應(yīng)用場景中的落地。

　　DistilQwen2.5的開源發(fā)布也將為更多開發(fā)者提供便利，使他們能更輕松地使用這一強(qiáng)大的工具，為人工智能技術(shù)的普及貢獻(xiàn)力量。