行業(yè)唯一!海爾熱聲熱泵技術(shù)獲全國顛覆性技術(shù)創(chuàng)新大賽最高獎OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號能穿十堵墻一加 Ace 5 Pro首發(fā)電競Wi-Fi芯片G1 帶來「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗電視市場又出黑馬!TCL同檔Mini LED音畫王P12K,萬象分區(qū)打造超強控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強者恒強?——《中國企業(yè)科創(chuàng)力研究報告(2024)》美團年度報告竟然用上了AI和短劇?這下是真出圈了消息稱上汽大眾正開發(fā)三款新車,技術(shù)分別來自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開啟全量推送!升級自動泊車/接駕等多項功能華為官方翻新手機最高降價4000元曝蘋果研發(fā)帶Face ID的智能家居門鈴:內(nèi)置自研W-Fi芯片李斌回應(yīng)螢火蟲外觀設(shè)計:看過實車的人都喜歡這個設(shè)計林杰:未來 A 級、A0 級、A00 級車型都將是領(lǐng)克純電的“主場”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設(shè)與智慧出行萬象分區(qū)、絢彩XDR、量子點Pro 2025齊出手,TCL引領(lǐng)觀影體驗新變革!QQ音樂年度聽歌報告發(fā)布:誰是你最喜歡的歌手?OpenAI正式發(fā)布o3 - 通往AGI的路上,已經(jīng)沒有了任何阻礙「送禮物」難撬動社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學(xué)擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁技術(shù)報告出爐2024年結(jié)束,哪里是原創(chuàng)動畫的應(yīng)許之地?
  • 首頁 > 云計算頻道 > 大模型

    華盛頓大學(xué)推高效大模型調(diào)優(yōu)方法“代理調(diào)優(yōu)”

    2024年01月24日 09:26:14   來源:站長之家

      1月24日 消息:華盛頓大學(xué)推出更高效的大模型調(diào)優(yōu)方法“代理調(diào)優(yōu)”,該方法通過對比小型調(diào)整模型和未調(diào)整模型的預(yù)測結(jié)果來引導(dǎo)基礎(chǔ)模型的預(yù)測,實現(xiàn)對模型的調(diào)優(yōu)而無需接觸模型的內(nèi)部權(quán)重。

      隨著ChatGPT等生成式AI產(chǎn)品的發(fā)展,基礎(chǔ)模型的參數(shù)不斷增加,因此進行權(quán)重調(diào)優(yōu)需要耗費大量時間和算力。為提升調(diào)優(yōu)效率,該方法可以在解碼時更好地保留訓(xùn)練知識,同時保留更大規(guī)模預(yù)訓(xùn)練的優(yōu)勢。研究人員對LlAMA-2的13B、70B原始模型進行了微調(diào),結(jié)果顯示代理調(diào)優(yōu)的性能比直接調(diào)優(yōu)的模型更高。

    1.jpg

      該方法需要準備一個小型的預(yù)訓(xùn)練語言模型M-,與基礎(chǔ)模型M共享相同的詞匯表,然后使用訓(xùn)練數(shù)據(jù)對M-進行調(diào)優(yōu)得到調(diào)優(yōu)模型M+。

      在解碼時,通過對比基礎(chǔ)模型M的輸出預(yù)測分布和調(diào)優(yōu)模型M+的輸出預(yù)測分布之間的差異,來引導(dǎo)基礎(chǔ)模型的預(yù)測,最后將預(yù)測差異應(yīng)用于基礎(chǔ)模型的預(yù)測結(jié)果,以引導(dǎo)基礎(chǔ)模型的預(yù)測朝向調(diào)優(yōu)模型的預(yù)測方向移動。這一方法與大模型中的“蒸餾”技術(shù)恰恰相反,是一種創(chuàng)新性的調(diào)優(yōu)方法。

      代理調(diào)優(yōu)方法的推出,為大模型的調(diào)優(yōu)提供了更高效的解決方案,同時也可以在解碼時更好地保留訓(xùn)練知識,使得模型的性能更高。這一方法的推出將為AI領(lǐng)域的發(fā)展帶來新的啟示,值得進一步深入研究和應(yīng)用。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。