UIUC發(fā)布StarCoder2-15B-Instruct代碼大模型 無需OpenAI數(shù)據(jù)登上性能榜單

　　UIUC與BigCode組織的研究者們最近發(fā)布了StarCoder2-15B-Instruct代碼大模型，這一創(chuàng)新成果在代碼生成任務(wù)方面取得了顯著突破。這款模型成功超越了CodeLlama-70B-Instruct，登上了代碼生成性能榜單之巔。

　　StarCoder2-15B-Instruct的獨特之處在于其純自對齊策略，整個訓(xùn)練流程公開透明，且完全自主可控。通過自我生成數(shù)千個指令-響應(yīng)對，直接對StarCoder-15B基座模型進行微調(diào)，無需依賴昂貴的人工標(biāo)注數(shù)據(jù)，也無需從商業(yè)大模型中獲取數(shù)據(jù)，避免了潛在的版權(quán)問題。

　　在HumanEval測試中，StarCoder2-15B-Instruct以72.6%的Pass@1成績脫穎而出，較CodeLlama-70B-Instruct的72.0%有所提升。在LiveCodeBench數(shù)據(jù)集的評估中，這一自對齊模型的表現(xiàn)甚至超越了基于GPT-4生成數(shù)據(jù)訓(xùn)練的同類模型，證明了通過自身數(shù)據(jù)訓(xùn)練的大模型同樣能夠有效地學(xué)習(xí)如何與人類偏好對齊。

　　StarCoder2-15B-Instruct的數(shù)據(jù)生成流程主要包括種子代碼片段的采集、多樣化指令的生成和高質(zhì)量響應(yīng)的生成三個核心步驟。種子代碼片段的采集是通過從開源代碼片段中選取高質(zhì)量、多樣化的種子函數(shù)開始的。然后，基于這些種子函數(shù)的不同編程概念，StarCoder2-15B-Instruct能夠創(chuàng)建出多樣化且真實的代碼指令。最后，通過自我驗證的方式確保生成的響應(yīng)是準(zhǔn)確且高質(zhì)量的。

　　StarCoder2-15B-Instruct在備受矚目的EvalPlus基準(zhǔn)測試中表現(xiàn)出色，超越了規(guī)模更大的Grok-1Command-R+和DBRX，并與Snowflake Arctic480B和Mixtral-8x22B-Instruct等業(yè)界翹楚性能相當(dāng)。此外，在LiveCodeBench和DS-1000等評估平臺上也展現(xiàn)出了強大的實力。

　　該項目的成功實施得到了美國東北大學(xué)Arjun Guha課題組、加州大學(xué)伯克利分校、ServiceNow和Hugging Face等機構(gòu)的鼎力支持。

　　StarCoder2-15B-Instruct-v0.1的發(fā)布標(biāo)志著研究者們在代碼模型自我調(diào)優(yōu)領(lǐng)域邁出了重要一步。這款模型的成功實踐展示了通過自我調(diào)優(yōu)同樣能夠構(gòu)建出性能卓越的代碼模型。同時，該模型的開源數(shù)據(jù)集和訓(xùn)練流程為未來該領(lǐng)域的研究和發(fā)展奠定了堅實的基礎(chǔ)。