通義千問(wèn)開(kāi)源基于Qwen1.5的代碼模型CodeQwen1.5

　　通義千問(wèn)昨晚開(kāi)源了基于Qwen1.5的代碼模型CodeQwen1.5，這是一個(gè)基于 Qwen 語(yǔ)言模型的代碼專家模型。CodeQwen1.5擁有7B 參數(shù)，采用 GQA 架構(gòu)，經(jīng)過(guò)約3T tokens 代碼數(shù)據(jù)的預(yù)訓(xùn)練，支持92種編程語(yǔ)言，并且能夠處理最長(zhǎng)64K 的上下文輸入。

　　在代碼生成、長(zhǎng)序列建模、代碼修改和 SQL 能力等方面，CodeQwen1.5展現(xiàn)出了卓越的性能，極大地提升了開(kāi)發(fā)人員的工作效率，并簡(jiǎn)化了軟件開(kāi)發(fā)流程。

　　在代碼生成方面，CodeQwen1.5已經(jīng)超越了許多更大尺寸的模型，縮小了開(kāi)源 CodeLLM 與 GPT-4之間在編碼能力上的差距。通過(guò) HumanEval 和 MBPP 的評(píng)估，CodeQwen1.5在各項(xiàng)指標(biāo)上均表現(xiàn)出色。

　　此外，LiveCodeBench 的評(píng)估顯示，CodeQwen1.5在 LeetCode、AtCoder 和 CodeForces 三個(gè)競(jìng)賽平臺(tái)的問(wèn)題上具有極強(qiáng)的泛化能力，盡管其預(yù)訓(xùn)練語(yǔ)料中包含了 LeetCode 的數(shù)據(jù)。

　　CodeQwen1.5不僅精通 Python，還支持多種編程語(yǔ)言。在 MultiPL-E 的8種主流語(yǔ)言上進(jìn)行全面評(píng)估，CodeQwen1.5證明了其多語(yǔ)言編程的卓越能力。長(zhǎng)序列能力對(duì)于代碼模型至關(guān)重要，CodeQwen1.5通過(guò)精心構(gòu)造的長(zhǎng)序列代碼數(shù)據(jù)預(yù)訓(xùn)練，實(shí)現(xiàn)了最長(zhǎng)64K 輸入長(zhǎng)度的支持。

　　在實(shí)際應(yīng)用方面，CodeQwen1.5在 SWE Bench 上的表現(xiàn)尤為突出，它能夠理解代碼倉(cāng)庫(kù)并生成可通過(guò)單測(cè)的代碼，解決了真實(shí)軟件開(kāi)發(fā)中的問(wèn)題。

　　CodeQwen1.5在代碼修改方面的能力也得到了驗(yàn)證，它在 CodeEditorBench 的四個(gè)方面——Debug、Translate、Switch、Polish——均達(dá)到了最佳效果。

　　作為一個(gè)智能的 SQL 專家，CodeQwen1.5通過(guò)自然語(yǔ)言查詢數(shù)據(jù)庫(kù)，極大地降低了非編程專業(yè)人士與高效數(shù)據(jù)交互之間的學(xué)習(xí)曲線。在 Spider 和 Bird 兩個(gè)流行的文本到 SQL 基準(zhǔn)測(cè)試中，CodeQwen1.5的性能接近 GPT-4，顯示了其在 SQL 領(lǐng)域的強(qiáng)大實(shí)力。

　　CodeQwen1.5作為 Qwen1.5開(kāi)源家族的一員，目前已支持多種平臺(tái)和工具，如 Transformers， vLLM， llama.cpp， Ollama 等。開(kāi)源社區(qū)對(duì) CodeQwen1.5的發(fā)布充滿期待，希望它在代碼助手、Code Agent 等方面為社區(qū)做出貢獻(xiàn)，并在未來(lái)的代碼智能建設(shè)中發(fā)揮重要作用，實(shí)現(xiàn)真正的 AI 程序員。