OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號能穿十堵墻一加 Ace 5 Pro首發(fā)電競Wi-Fi芯片G1 帶來「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗電視市場又出黑馬!TCL同檔Mini LED音畫王P12K,萬象分區(qū)打造超強控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強者恒強?——《中國企業(yè)科創(chuàng)力研究報告(2024)》美團年度報告竟然用上了AI和短?這下是真出圈了消息稱上汽大眾正開發(fā)三款新車,技術(shù)分別來自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開啟全量推送!升級自動泊車/接駕等多項功能華為官方翻新手機最高降價4000元曝蘋果研發(fā)帶Face ID的智能家居門鈴:內(nèi)置自研W-Fi芯片李斌回應(yīng)螢火蟲外觀設(shè)計:看過實車的人都喜歡這個設(shè)計林杰:未來 A 級、A0 級、A00 級車型都將是領(lǐng)克純電的“主場”豐巢存包柜亮相南寧地鐵站,助力城市韌性建設(shè)與智慧出行萬象分區(qū)、絢彩XDR、量子點Pro 2025齊出手,TCL引領(lǐng)觀影體驗新變革!QQ音樂年度聽歌報告發(fā)布:誰是你最喜歡的歌手?OpenAI正式發(fā)布o3 - 通往AGI的路上,已經(jīng)沒有了任何阻礙「送禮物」難撬動社交電商,微信小店缺的是供給微軟Phi-4封神,14B小模型數(shù)學(xué)擊敗GPT-4o,合成數(shù)據(jù)占比40%,36頁技術(shù)報告出爐2024年結(jié)束,哪里是原創(chuàng)動畫的應(yīng)許之地?深扒一個正被游戲行業(yè)「搶占」的流量帝國
  • 首頁 > 云計算頻道 > 大模型

    一行代碼提高大模型10%性能,開發(fā)者:免費午餐

    2023年10月23日 16:27:08   來源:微信公眾號量子位

      本文來自于微信公眾號 量子位(ID:QbitAI),作者:克雷西。

      大模型微調(diào)有“免費的午餐”了,只要一行代碼就能讓性能提升至少10%。

      在7B參數(shù)量的Llama2上甚至出現(xiàn)了性能翻倍的結(jié)果,Mistral也有四分之一的增長。

      雖然這種方法用在監(jiān)督微調(diào)階段,但RLHF模型也能從中受益。

      來自馬里蘭州大學(xué)、紐約大學(xué)等機構(gòu)的研究人員提出了名為NEFT(une)的微調(diào)方式。

      這是一種新的正則化技術(shù),可以用于提高微調(diào)監(jiān)督(SFT)模型的性能。

      這種方法已經(jīng)被HuggingFace收錄進了TRL庫,只要import再加一行代碼就能調(diào)用。

      NEFT不僅操作簡便,而且沒有顯著的成本增加,作者稱看起來是個“免費的午餐”。

      有網(wǎng)友試著用這種方法微調(diào)了基于Guanaco(一種羊駝家族模型)的Mistral-7B,結(jié)果性能提升明顯。

      那么,NEFTune是如何用一行代碼給一眾大模型“打雞血”的呢?向模型中加入噪聲

      NEFTune的全稱是Noisy Embedding Fine Tuning,即“帶噪聲的嵌入式微調(diào)”。

      開發(fā)者認為,過擬合現(xiàn)象是限制大模型性能的一大因素,因此采用在訓(xùn)練階段向嵌入層中加入噪聲的方式來避免過擬合的出現(xiàn),從而提高性能。

      具體而言,訓(xùn)練數(shù)據(jù)庫中的文本首先會被token化,并轉(zhuǎn)化為嵌入向量。

      然后,系統(tǒng)會隨機生成一個噪聲向量,并用縮放器將噪聲調(diào)節(jié)成所設(shè)置的強度。

      經(jīng)過縮放后的噪聲會加入到嵌入向量中,作為模型的輸入,然后開始訓(xùn)練。

      每次迭代訓(xùn)練時,都會生成新的噪聲并加入到嵌入層中。 fromtorch.nnimportfunctionalasF

      defNEFTune(model,noise_alpha=5)

      defnoised_embed(orig_embed,noise_alpha):

      defnew_func(x):

      ifmodel.training:

      embed_init=orig_embed(x)

      dims=torch.tensor(embed_init.size(1)*embed_init.size(2))

      mag_norm=noise_alpha/torch.sqrt(dims)

      returnembed_init+torch.zeros_like(embed_init).uniform_(-mag_norm,mag_norm)

      else:

      returnorig_embed(x)

      returnnew_func

      model.base_model.model.model.embed_tokens.forward=noised_embed(model.base_model.model.model.embed_tokens,noise_alpha)

      returnmodel

      這段代碼中,NEFTune函數(shù)中的形參noise_alpha就是噪聲強度(系數(shù)),mag_norm則為實際過程中的噪聲范圍。

      而NEFT只有在訓(xùn)練過程中才會向模型中加入噪聲,推理階段無此過程,代碼中的if語句起到的就是這個作用。

      訓(xùn)練模式下,new_func函數(shù)的返回值即為加入噪聲后的嵌入層。

      貼出這段代碼是為了講解需要,如果只是想調(diào)用NEFT,可以不必使用上面的完整代碼,直接從TRL庫中調(diào)用就可以了。

      下面的代碼是微調(diào)OPT-350M模型的一個示例: fromdatasetsimportload_dataset

      fromtrlimportSFTTrainer

      dataset=load_dataset("imdb",split="train")

      trainer=SFTTrainer(

      "facebook/opt-350m",

      train_dataset=dataset,

      dataset_text_field="text",

      max_seq_length=512,

      )

      trainer.train()

      而數(shù)據(jù)集方面,開發(fā)者一共使用了Alpaca、ShareGPT等四種不同數(shù)據(jù)集進行了微調(diào)。

      作者介紹,選擇這些數(shù)據(jù)的原因包括它們比較著名、曾成為SOTA等等。

      此外出于硬件性能考慮,實驗過程中所選擇的都是單輪對話數(shù)據(jù)集。

      那么,用NEFT方法調(diào)校過后的大模型,表現(xiàn)到底怎么樣呢? 性能最高提升1倍

      研究團隊主要測試了模型調(diào)校前后生成的文本質(zhì)量和對話能力。

      其中文本質(zhì)量主要基于AplacaEval數(shù)據(jù)集,使用ChatGPT和GPT-4評估。

      用作參照的模型是Text-Davinci-003,訓(xùn)練后的模型勝過TD3的比例即為評價指標。

      為了節(jié)約資源,研究團隊先用ChatGPT判斷是自己來評價還是調(diào)用GPT-4,部分情況下還會人工評判。

      結(jié)果在不同的訓(xùn)練數(shù)據(jù)集中,Llama2調(diào)整后都有至少10%的性能提升,在Alpaca數(shù)據(jù)集上更是直接翻倍。

      推廣到OPT和Llama1,NEFT方法同樣可以帶來一定的性能提升。

      而用于評估模型聊天能力的,則是OpenLLM Leadorboard中的任務(wù)。

      結(jié)果發(fā)現(xiàn),NEFT調(diào)整后模型的聊天能力同樣相比Evol-Instruct有進一步提升。

      在成本沒有顯著增加的情況下,提高文本質(zhì)量和聊天能力,是否會導(dǎo)致其他能力的下降,作者對此也進行了評估。

      結(jié)果顯示,NEFT方法在不同的數(shù)據(jù)集和模型上,對模型的其他能力均沒有顯著影響。

      實驗過程中,作者還發(fā)現(xiàn),模型生成的文本和并不是照搬訓(xùn)練數(shù)據(jù),提示了模型具有一定泛化能力。

      為了證實這一點,作者對模型損失進行了評估,結(jié)果發(fā)現(xiàn)測試數(shù)據(jù)集損失低于訓(xùn)練數(shù)據(jù),證實了這一觀點。

      此外作者發(fā)現(xiàn),經(jīng)NEFT調(diào)整之后,模型生成的文本不僅質(zhì)量提高,長度也有所增加,而且增加的并非重復(fù)內(nèi)容。

      為了確認文本質(zhì)量的提高是加入噪聲的作用而不是由文本長度的增加所導(dǎo)致,研究人員又進行了消融實驗。

      結(jié)果顯示,只是強制模型生成更長的文本無法達到NEFT的效果。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。