本文來自于微信公眾號新智元(ID:AI_era),作者:新智元。
【新智元導(dǎo)讀】斯坦福學(xué)者發(fā)現(xiàn),GPT-4對于Nature、ICLR的論文給出的審稿意見,竟然和人類審稿人有超過50%的相似性?磥碜尨竽P蛠韼臀覀儗徴撐,并不是天方夜譚啊。
GPT-4,已經(jīng)成功晉身審稿人!
最近,來自斯坦福大學(xué)等機(jī)構(gòu)的研究者把數(shù)千篇來自Nature、ICLR等的頂會文章丟給了GPT-4,讓它生成評審意見、修改建議,然后和人類審稿人給出的意見相比較。
結(jié)果,GPT-4不僅完美勝任了這項(xiàng)工作,甚至比人類做得還好!
在它給出的意見中,超50%和至少一名人類審稿人一致。
并且超過82.4%的作者表示,GPT-4給出的意見相當(dāng)有幫助。
論文作者James Zou總結(jié)道:我們?nèi)匀恍枰哔|(zhì)量的人工反饋,但LLM可以幫助作者在正式的同行評審之前,改進(jìn)自己的論文初稿。
GPT-4給你的意見,可能比人類都好
所以,怎樣讓LLM給你審稿呢?
非常簡單,只要從論文PDF中提取出文本,喂給GPT-4,它就立刻生成反饋了。
具體來說,我們要對一個(gè)PDF提取、解析論文的標(biāo)題、摘要、圖形、表格標(biāo)題、主要文本。
然后告訴GPT-4,你需要遵循業(yè)內(nèi)頂尖的期刊會議的審稿反饋形式,包括四個(gè)部分——成果是否重要、是否新穎,論文被接受的理由,論文被拒的理由,改進(jìn)建議。
從下圖可以看到,GPT-4給出了非常有建設(shè)性的意見,反饋包括四部分。
這篇論文有什么缺陷?
GPT-4一針見血地指出:雖然論文提及了模態(tài)差距現(xiàn)象,但并沒有提出縮小差距的方法,也沒有證明這樣做的好處。
研究者對3,096篇Nature系列論文和1,709篇ICLR論文的人類反饋和LLM反饋進(jìn)行了對比。
兩階段評論匹配管線會分別提取出LLM和人類反饋中的評論點(diǎn),然后執(zhí)行語義文本匹配,來匹配LLM和人類反饋之間的共同評論點(diǎn)。
下圖就是一個(gè)具體的兩階段評論匹配管線。
對于每條配對評論,相似度評級都會給出理由。
研究者將相似度閾值設(shè)為7,弱匹配的評論就會被過濾掉。
在Nature和ICLR兩個(gè)數(shù)據(jù)集中,論文和人類評論的平均token長度分別如下。
這項(xiàng)研究有美國110個(gè)AI機(jī)構(gòu)和計(jì)算生物學(xué)機(jī)構(gòu)的308名研究員參與。
每位研究者都上傳了自己撰寫的論文,看了LLM的反饋,然后填寫了自己對于LLM反饋的評價(jià)和感受。
結(jié)果顯示,研究者普遍認(rèn)為,跟人類評審的結(jié)果相比,LLM生成的反饋與之有很大的重疊,通常很有幫助。
如果說有什么缺點(diǎn)的話,就是在具體性上稍差一些。
如下圖所示,對于提交給Nature的論文,大約三分之一(30.85%)的GPT-4意見與人類審稿人意見重合。
在ICLR論文中,超過三分之一(39.23%)的GPT-4意見與人類審稿人意見重合。
LLM與人類審稿人,偏重略有不同
以下是對同一篇ICLR論文的LLM評論和人類評論,可以看出,LLM的眼光很毒辣,評論很一針見血。
比如與先前研究的對比上,人類審稿員表示:
比較是有缺陷的。尤其是GNN方法的標(biāo)簽一致性和中心一致性損失都沒有考慮到。更公平的比較應(yīng)該是使用兩種損失都考慮到的GNN方法。
而GPT-4的評價(jià)是:
論文缺乏與現(xiàn)有方法的徹底的比較。雖然作者對于一些方法比較了基線,但還需要更全面的比較。
在理論可靠性上,人類審稿人給出了這樣的意見——
恕我直言,理論的證明太瑣碎了。最終結(jié)論是如果相似度合適,預(yù)測的動作就是準(zhǔn)確的。由于模型正在學(xué)習(xí)正確的相似度,也就相當(dāng)于說模型h如果經(jīng)過良好的訓(xùn)練,輸出就是正確的。這是顯然的事。
而GPT-4的意見是:
作者應(yīng)該提供更多理論分析,來比較信息傳遞和一致性約束之間的聯(lián)系,這樣能讓讀者更易于理解。
在研究的可復(fù)現(xiàn)性上,人類審稿員希望論文能夠提供代碼,好讓其他讀者也能復(fù)現(xiàn)實(shí)驗(yàn)。
GPT-4對此也給出了相同意見:「作者應(yīng)該提供有關(guān)實(shí)驗(yàn)設(shè)置的更多詳細(xì)信息,來確保研究的可復(fù)現(xiàn)性。」
參與調(diào)查的用戶普遍認(rèn)為,LLM的反饋可以幫助提高評審的準(zhǔn)確性,減少人類評審員的工作量。而且大多數(shù)用戶打算再次使用LLM反饋系統(tǒng)。
有趣的是,相比人類審稿人,LLM審稿員有自己獨(dú)有的特點(diǎn)。
比如,它提及影響因子的頻率,是人類審稿人的7.27倍。
人類審稿人會更可能要求補(bǔ)充額外的消融實(shí)驗(yàn)ablation experiments,而LLM則會注重于要求在更多的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。
網(wǎng)友們紛紛表示:這項(xiàng)工作很了不起!
也有人說,其實(shí)我早就這么干了,我一直在用各種LLM幫我總結(jié)和改進(jìn)論文。
有人問,所以GPT評審會不會為了迎合如今的同行評審標(biāo)準(zhǔn),讓自己有偏見呢?
也有人提出,量化GPT和人類評審意見的重合,這個(gè)指標(biāo)有用嗎?
要知道,在理想情況下,審稿人不應(yīng)該有太多重合意見,選擇他們的原意是讓他們提供不同的觀點(diǎn)。
不過至少,這項(xiàng)研究讓我們知道,LLM確實(shí)可以用作改論文神器了。
三步,讓LLM給你審稿
1. 創(chuàng)建一個(gè)PDF解析服務(wù)器并在后臺運(yùn)行:
2. 創(chuàng)建并運(yùn)行LLM反饋服務(wù)器:
3. 打開網(wǎng)頁瀏覽器并上傳你的論文:
打開https://0.0.0.0:7799并上傳論文,就可以在大約120秒內(nèi)得到LLM生成的反饋。
作者介紹 Weixin Liang(梁偉欣)
Weixin Liang是斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的博士生,以及斯坦福人工智能實(shí)驗(yàn)室(SAIL)的成員,由James Zou教授的指導(dǎo)。
在此之前,他在斯坦福大學(xué)獲得電子工程碩士學(xué)位,師從James Zou教授和Zhou Yu教授;在浙江大學(xué)獲得計(jì)算機(jī)科學(xué)學(xué)士學(xué)位,師從Kai Bu教授和Mingli Song教授。
他曾在亞馬遜Alexa AI、蘋果和騰訊進(jìn)行過實(shí)習(xí),并曾與Daniel Jurafsky教授、Daniel A. McFarland教授和Serena Yeung教授合作過。 Yuhui Zhang
Yuhui Zhang是斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的博士生,由Serena Yeung教授的指導(dǎo)。
他的研究方向是構(gòu)建多模態(tài)人工智能系統(tǒng)和開發(fā)從多模態(tài)信息中獲益的創(chuàng)意應(yīng)用。
在此之前,他在清華大學(xué)和斯坦福大學(xué)完成了本科和碩士學(xué)業(yè),并與James Zou教授、Chris Manning教授、Jure Leskovec教授等出色的研究人員合作過。 Hancheng Cao(曹瀚成)
Hancheng Cao是斯坦福大學(xué)計(jì)算機(jī)科學(xué)系六年級的博士生(輔修管理科學(xué)與工程專業(yè)),同時(shí)也是斯坦福大學(xué)NLP小組和人機(jī)交互小組的成員,由Dan McFarland教授和Michael Bernstein教授指導(dǎo)。
他于2018年以優(yōu)異成績獲得清華大學(xué)電子工程系學(xué)士學(xué)位。
2015年起,他在清華大學(xué)擔(dān)任研究助理,導(dǎo)師為李勇教授和Vassilis Kostakos教授(墨爾本大學(xué))。2016年秋,他在馬里蘭大學(xué)杰出大學(xué)教授Hanan Samet教授的指導(dǎo)下工作。2017年夏,他作為交換生和研究助理在麻省理工學(xué)院媒體實(shí)驗(yàn)室人類動力學(xué)小組工作,由Alex 'Sandy' Pentland教授 Xiaowen Dong教授指導(dǎo)。
他的研究興趣涉及計(jì)算社會科學(xué)、社會計(jì)算和數(shù)據(jù)科學(xué)。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。