谷歌發(fā)布新代碼模型Code Gemma：參數(shù)小、性能強(qiáng)，硬件要求低！

　　谷歌最近發(fā)布了面向企業(yè)、開發(fā)人員的全新代碼模型 Code Gemma，該模型參數(shù)小、性能強(qiáng)，同時(shí)對(duì)硬件要求較低。Code Gemma 共有基礎(chǔ)預(yù)訓(xùn)練、指令微調(diào)和快速推理三個(gè)版本，在基準(zhǔn)測(cè)試中展現(xiàn)出優(yōu)異的性能表現(xiàn)。該模型使用超過5000億 tokens 的代碼、數(shù)學(xué)、文本等數(shù)據(jù)進(jìn)行了大規(guī)模預(yù)訓(xùn)練，能夠快速生成 Python、JavaScript、Java、C/C++、C# 等主流編程語(yǔ)言代碼。

　　在模型性能方面，Code Gemma70億參數(shù)的性能超過了同類代碼模型如 DeepSeek Coder、StarCoder2等，并且推理效率和準(zhǔn)確率更高。Code Gemma 系列模型分別是專門針對(duì)代碼填充進(jìn)行訓(xùn)練的 Code Gemma2B，基礎(chǔ)預(yù)訓(xùn)練模型 Code Gemma7B 以及指令微調(diào)版本 Code Gemma7B Instruct。開發(fā)團(tuán)隊(duì)在多個(gè)數(shù)學(xué)數(shù)據(jù)集上進(jìn)行了監(jiān)督式微調(diào)，進(jìn)一步提升了 Code Gemma 的推理能力。

　　Code Gemma 在多個(gè)知名測(cè)試平臺(tái)中獲得了不錯(cuò)的成績(jī)，包括 HumanEval Infilling 平臺(tái)、HumanEval 和 MBPP 測(cè)試平臺(tái)以及 Babel Code 測(cè)試平臺(tái)。在代碼編程、Python 編碼和多語(yǔ)言編程等任務(wù)上，Code Gemma 展現(xiàn)出了強(qiáng)大的編碼能力和優(yōu)異的性能表現(xiàn)，特別是在 Java、JavaScript 和 Kotlin 等語(yǔ)言上的效果尤為突出。