IBM 最近發(fā)布了一組名為 "Granite Code" 的開源型,旨在幫助企業(yè)完成各種軟件開發(fā)任務(wù),并在基準(zhǔn)測試中表現(xiàn)出色。這些模型不僅過了一些較大的開源競爭對手,而且在編程任務(wù)中展現(xiàn)出了強(qiáng)大的性能。
Granite Code 型分為基礎(chǔ)模型和指導(dǎo)模型,每種模型都有四個不同規(guī)模的變種,參數(shù)數(shù)量從30到340億不等。這些模型的上下文窗口相對較短,例如,其中一個模型的上下文窗口只有128K,這限制了其在包含特定文檔或自己的代碼庫等提示信息時的有效性。不過,IBM 目正在開發(fā)具有更大上下文窗口的版本。
基礎(chǔ)模型的訓(xùn)練分為兩個階段。第一階段使用自116種編程語言的3-4萬億個標(biāo)記進(jìn)行訓(xùn)練,以建立廣泛的理解能力。在第階段,這些模型使用來自高質(zhì)量代碼和自然語言數(shù)據(jù)的5000億個標(biāo)記進(jìn)行進(jìn)一步訓(xùn)練,以強(qiáng)邏輯推理能力。
指導(dǎo)模型是通過對基礎(chǔ)模型進(jìn)行改進(jìn)而創(chuàng)建的,改進(jìn)方法包括篩選提交記錄、自然語言指令記錄和合成生成的代碼數(shù)據(jù)集。
在包括代碼合成、調(diào)試、解釋、編輯、學(xué)推理等多個基準(zhǔn)測試中,Granite Code 模型在各個規(guī)模和基準(zhǔn)測試中表現(xiàn)出色,常常超過開源模型兩倍以上的大小。例如,在 HumanEvalPack 基準(zhǔn)測試中,Granite-8B-Code-Base 的平均得為33.2%,超過谷歌最佳表現(xiàn)的 CodeGemma-8B 模型的21.3%,盡管 Granite-8-Code-Base 所使用的標(biāo)記數(shù)量明顯較少。
這些模型的大部分訓(xùn)練數(shù)據(jù)來自一個清理過的 GitHub 集 StarCoderData 和其他公開可用的代碼庫。這一點(diǎn)非常重要,因?yàn)槟壳坝幸恍╆P(guān)于其他代碼型(包括 GitHub 本身)涉嫌侵犯訓(xùn)練數(shù)據(jù)版權(quán)的訴訟。
IBM 計(jì)劃定期更新這些模型,很快將推出具有更大上下文窗口以及針對 Python 和 Java 的專業(yè)化版本。這些模型已經(jīng)在 Hugging FaceGitHub 上可用,并且也是 IBM 的 watsonx 企業(yè)平臺的一部分。
IBM 的 Granite Code 是一專門用于編程的開源模型,它們在基準(zhǔn)測試中表現(xiàn)優(yōu)異,同時具有較少的參數(shù)數(shù)量。些模型的特點(diǎn)包括靈活的規(guī)模選擇、基于廣泛訓(xùn)練數(shù)據(jù)的邏輯推理能力和良好的性能未來,IBM 還計(jì)劃不斷改進(jìn)和更新這些模型,以滿足不同編程任務(wù)的需求。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。