AI2最新神器OpenScholar來了，科研效率提升10倍！不再熬夜肝文獻(xiàn)綜述

　　AI2的科研大神們帶著他們的最新力作OpenScholar來拯救你了!這款科研效率神器，能讓文獻(xiàn)綜述像逛公園一樣輕松愉快!

　　OpenScholar的最大秘密武器，就是一個(gè)叫做OpenScholar-Datastore (OSDS)4.5億篇開放獲取論文，還有2.37億個(gè)文章段落嵌入。有了這么強(qiáng)大的知識(shí)儲(chǔ)備，OpenScholar才能游刃有余地應(yīng)對(duì)各種科研難題。

　　當(dāng)你遇到一個(gè)科研問題時(shí)，OpenScholar首先會(huì)派出它的得力干將——檢索器和重新排序器，從OSDS中快速篩選出與你的問題相關(guān)的文章段落。接著，一個(gè)語言模型 (LM)包含參考文獻(xiàn)的完整答案。更厲害的是，OpenScholar還會(huì)根據(jù)你的自然語言反饋不斷改進(jìn)答案，補(bǔ)充缺失的信息，直到你滿意為止。

　　OpenScholar不僅自己很強(qiáng)大，還能幫助訓(xùn)練更小巧、更高效的模型。研究人員利用OpenScholar的流程，生成了海量的高質(zhì)量訓(xùn)練數(shù)據(jù)，并用這些數(shù)據(jù)訓(xùn)練了一個(gè)名為OpenScholar-8B的80億參數(shù)語言模型，以及其他檢索模型。

　　為了全面檢驗(yàn)OpenScholar的戰(zhàn)斗力，研究人員還專門打造了一個(gè)名為SCHOLARQABENCH的全新測(cè)試?yán)夼_(tái)。這個(gè)擂臺(tái)上設(shè)置了各種各樣的科學(xué)文獻(xiàn)綜述任務(wù)，包括封閉式分類、多項(xiàng)選擇和長篇生成，涵蓋了計(jì)算機(jī)科學(xué)、生物醫(yī)學(xué)、物理學(xué)和神經(jīng)科學(xué)等多個(gè)領(lǐng)域。為了保證比賽的公平公正，SCHOLARQABENCH還采用了多方面評(píng)估方法，包括專家評(píng)審、自動(dòng)指標(biāo)以及用戶體驗(yàn)測(cè)試。

　　經(jīng)過多輪激烈角逐，OpenScholar最終脫穎而出!實(shí)驗(yàn)結(jié)果表明，它在各項(xiàng)任務(wù)中都表現(xiàn)出色，甚至超越了人類專家!這項(xiàng)突破性的成果必將掀起科研領(lǐng)域的一場革命，讓科學(xué)家們告別文獻(xiàn)綜述的苦海，專注于探索科學(xué)的奧秘!

　　OpenScholar的強(qiáng)大功能主要得益于其獨(dú)特的自我反饋檢索增強(qiáng)推理機(jī)制。簡單來說，就是它會(huì)先自己給自己提問題，然后根據(jù)自己的回答不斷改進(jìn)答案，最后再把最完美的答案呈現(xiàn)給你。是不是很神奇?

　　具體來說，OpenScholar的自我反饋推理過程分為三個(gè)步驟:初始答案生成、反饋生成和反饋整合。 首先，語言模型會(huì)根據(jù)檢索到的文章段落生成一個(gè)初始答案。接著，它會(huì)像一個(gè)嚴(yán)厲的考官一樣，對(duì)自己的答案進(jìn)行自我批評(píng)，找出不足之處，并生成一些自然語言反饋，比如“答案只包含了關(guān)于問答任務(wù)的實(shí)驗(yàn)結(jié)果，請(qǐng)補(bǔ)充其他類型任務(wù)的結(jié)果”。 最后，語言模型會(huì)根據(jù)這些反饋重新檢索相關(guān)文獻(xiàn)，并整合所有信息，生成一個(gè)更加完善的答案。

　　為了訓(xùn)練更小巧但性能同樣強(qiáng)大的模型，研究人員還利用OpenScholar的自我反饋推理流程生成了大量的高質(zhì)量訓(xùn)練數(shù)據(jù)。 他們先從數(shù)據(jù)庫中挑選出引用次數(shù)最多的論文，然后根據(jù)這些論文的摘要生成一些信息查詢問題，最后再用OpenScholar的推理流程生成高質(zhì)量的答案。這些答案和中間生成的反饋信息就構(gòu)成了寶貴的訓(xùn)練數(shù)據(jù)。 研究人員將這些數(shù)據(jù)與現(xiàn)有的通用領(lǐng)域指令微調(diào)數(shù)據(jù)和科學(xué)領(lǐng)域指令微調(diào)數(shù)據(jù)混合在一起，訓(xùn)練出了一個(gè)名為OpenScholar-8B的80億參數(shù)語言模型。

　　為了更全面地評(píng)估OpenScholar和其他類似模型的性能，研究人員還創(chuàng)建了一個(gè)名為SCHOLARQABENCH的全新基準(zhǔn)測(cè)試。 這個(gè)基準(zhǔn)測(cè)試包含了2967個(gè)由專家撰寫的文獻(xiàn)綜述問題，涵蓋了計(jì)算機(jī)科學(xué)、物理學(xué)、生物醫(yī)學(xué)和神經(jīng)科學(xué)等四個(gè)領(lǐng)域。每個(gè)問題都有專家撰寫的長篇答案，平均每個(gè)答案需要專家花費(fèi)大約一個(gè)小時(shí)的時(shí)間來完成。 SCHOLARQABENCH還采用了一種多方面評(píng)估方法，結(jié)合了自動(dòng)指標(biāo)和人工評(píng)估，可以更全面地衡量模型生成答案的質(zhì)量。

　　實(shí)驗(yàn)結(jié)果表明，OpenScholar在SCHOLARQABENCH上的表現(xiàn)遠(yuǎn)遠(yuǎn)超過了其他模型，甚至在某些方面超越了人類專家! 例如，在計(jì)算機(jī)科學(xué)領(lǐng)域，OpenScholar-8B的正確率比GPT-4o高出5%，比PaperQA2高出7%。 而且，OpenScholar生成答案的引用準(zhǔn)確率也與人類專家不相上下，而GPT-4o則高達(dá)78-90%憑空捏造的。

　　OpenScholar的出現(xiàn)，無疑是科研領(lǐng)域的一大福音!它不僅能幫助科研人員節(jié)省大量時(shí)間和精力，還能提高文獻(xiàn)綜述的質(zhì)量和效率。相信在不久的將來，OpenScholar將會(huì)成為科研人員不可或缺的得力助手!