5月29日消息,開源語言模型的進(jìn)步是無可爭議的。但它們真的能與來自 OpenAI、谷歌和其他公司的訓(xùn)練有素的語言模型競爭嗎?
諸如之前所報(bào)道的,使用Alpaca Formula訓(xùn)練的開源語言模型幾乎不需要怎么訓(xùn)練以及很低的成本就能達(dá)到了類似于ChatGPT的水平。
Alpaca Formula指的是開發(fā)人員使用 ChatGPT 生成的訓(xùn)練數(shù)據(jù)來微調(diào)Meta語言模型 LLaMA 。使用這些數(shù)據(jù),LLaMA 模型可以在很短的時(shí)間內(nèi)學(xué)習(xí)生成類似于 ChatGPT 的輸出,并且只需要很少的計(jì)算量。
但伯克利大學(xué)的研究人員在最近的一項(xiàng)研究中得出了不同的結(jié)論:他們將Alpaca Formula應(yīng)用于LLaMA和 GPT-2的一些基礎(chǔ)模型,然后讓這些結(jié)果由人工評估并由GPT-4自動(dòng)評估。
最初,他們得出了與之前的開發(fā)人員相同的結(jié)論:使用指令改進(jìn)的模型(研究人員稱之為“模仿模型”)的性能遠(yuǎn)遠(yuǎn)超過基礎(chǔ)模型,與 ChatGPT 相當(dāng)。
然而,“更有針對性的自動(dòng)評估”表明,模仿模型實(shí)際上只在他們看到模仿數(shù)據(jù)的任務(wù)中表現(xiàn)良好。在所有其他領(lǐng)域,與GPT-4仍然存在明顯的性能差距。因?yàn)檫@些基礎(chǔ)模型在廣泛的預(yù)訓(xùn)練過程中獲得了大部分功能,而不是在微調(diào)過程中獲取的。
研究人員表示,這些所謂的評價(jià)的工作者經(jīng)常在沒有專業(yè)知識(shí)的情況下在短時(shí)間內(nèi)評估人工智能內(nèi)容,很容易被忽悠。
OpenAI 研究員約翰舒爾曼最近也批評使用 ChatGPT數(shù)據(jù)微調(diào)開源基礎(chǔ)語言模型,稱如果微調(diào)數(shù)據(jù)集包含原始模型中不存在的知識(shí),它們可能會(huì)產(chǎn)生更多不正確的內(nèi)容。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。