谷歌研究院推出了一個名為AGREE的創(chuàng)新框架,旨在增強大型語言模型(LLM)生成內(nèi)容和引用的準(zhǔn)確性。這一框架通過檢索文檔中的相關(guān)段落來增強大模型生成回答的事實基礎(chǔ),并提供相應(yīng)的引用,從而提高回答的準(zhǔn)確性,并為用戶提供驗證信息真實性的途徑。
核心技術(shù):
訓(xùn)練階段微調(diào):使用基礎(chǔ)大模型生成回答,并利用自然語言推理模型(NLI)評估段落是否支持特定聲明。AGREE框架使用NLI模型從未標(biāo)記的查詢中自動構(gòu)建訓(xùn)練數(shù)據(jù)集,通過匹配回答和檢索到的文檔,為每個聲明找到最相關(guān)的支持性段落。
測試時自適應(yīng):一種動態(tài)、迭代的推理增強方法,幫助大模型在面對新的內(nèi)容查詢時,主動從大型語料庫中檢索相關(guān)信息,并對生成的回答進行補充和修正。
AGREE的工作流程:
在微調(diào)階段,AGREE框架采用LORA的輕量級微調(diào)技術(shù),通過在大模型的權(quán)重矩陣上添加低秩更新,實現(xiàn)高效且針對性的調(diào)整,減少計算資源消耗,同時保持模型泛化能力。
測試時自適應(yīng)從接收到新查詢開始,微調(diào)后的大模型根據(jù)訓(xùn)練階段學(xué)到的知識生成初步回答,然后進入自動迭代過程,自我評估并識別需要額外支持的聲明。
一旦識別出需要額外信息的聲明,啟動檢索過程,在預(yù)構(gòu)建的語料庫中搜索相關(guān)段落,并將這些段落與先前回答結(jié)合,生成更完善、準(zhǔn)確的內(nèi)容。
實驗結(jié)果:
研究人員在Llama-2-13b等知名大模型上進行了實驗,結(jié)果顯示AGREE在提升內(nèi)容回答準(zhǔn)確性和引用性方面表現(xiàn)突出。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。