IBM 最近發(fā)布了一組名為 "Granite Code" 的開源型,旨在幫助企業(yè)完成各種軟件開發(fā)任務(wù),并在基準(zhǔn)測試中表現(xiàn)出色。這些模型不僅過了一些較大的開源競爭對手,而且在編程任務(wù)中展現(xiàn)出了強(qiáng)大的性能。
Granite Code 型分為基礎(chǔ)模型和指導(dǎo)模型,每種模型都有四個不同規(guī)模的變種,參數(shù)數(shù)量從30到340億不等。這些模型的上下文窗口相對較短,例如,其中一個模型的上下文窗口只有128K,這限制了其在包含特定文檔或自己的代碼庫等提示信息時的有效性。不過,IBM 目正在開發(fā)具有更大上下文窗口的版本。
基礎(chǔ)模型的訓(xùn)練分為兩個階段。第一階段使用自116種編程語言的3-4萬億個標(biāo)記進(jìn)行訓(xùn)練,以建立廣泛的理解能力。在第階段,這些模型使用來自高質(zhì)量代碼和自然語言數(shù)據(jù)的5000億個標(biāo)記進(jìn)行進(jìn)一步訓(xùn)練,以強(qiáng)邏輯推理能力。
指導(dǎo)模型是通過對基礎(chǔ)模型進(jìn)行改進(jìn)而創(chuàng)建的,改進(jìn)方法包括篩選提交記錄、自然語言指令記錄和合成生成的代碼數(shù)據(jù)集。
在包括代碼合成、調(diào)試、解釋、編輯、學(xué)推理等多個基準(zhǔn)測試中,Granite Code 模型在各個規(guī)模和基準(zhǔn)測試中表現(xiàn)出色,常常超過開源模型兩倍以上的大小。例如,在 HumanEvalPack 基準(zhǔn)測試中,Granite-8B-Code-Base 的平均得為33.2%,超過谷歌最佳表現(xiàn)的 CodeGemma-8B 模型的21.3%,盡管 Granite-8-Code-Base 所使用的標(biāo)記數(shù)量明顯較少。
這些模型的大部分訓(xùn)練數(shù)據(jù)來自一個清理過的 GitHub 集 StarCoderData 和其他公開可用的代碼庫。這一點非常重要,因為目前有一些關(guān)于其他代碼型(包括 GitHub 本身)涉嫌侵犯訓(xùn)練數(shù)據(jù)版權(quán)的訴訟。
IBM 計劃定期更新這些模型,很快將推出具有更大上下文窗口以及針對 Python 和 Java 的專業(yè)化版本。這些模型已經(jīng)在 Hugging FaceGitHub 上可用,并且也是 IBM 的 watsonx 企業(yè)平臺的一部分。
IBM 的 Granite Code 是一專門用于編程的開源模型,它們在基準(zhǔn)測試中表現(xiàn)優(yōu)異,同時具有較少的參數(shù)數(shù)量。些模型的特點包括靈活的規(guī)模選擇、基于廣泛訓(xùn)練數(shù)據(jù)的邏輯推理能力和良好的性能未來,IBM 還計劃不斷改進(jìn)和更新這些模型,以滿足不同編程任務(wù)的需求。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。