中國(guó)科大等發(fā)布SciGuard大模型 建立首個(gè)科學(xué)風(fēng)險(xiǎn)基準(zhǔn)

　　在中國(guó)科大等機(jī)構(gòu)的最新研究中，科學(xué)家們發(fā)布了一項(xiàng)重要的成果，即SciGuard和SciMT-Safety。這一創(chuàng)新性方法的目標(biāo)是保護(hù)AI for Science模型，以防止其在生物、化學(xué)、藥物等領(lǐng)域被不當(dāng)使用。為此，研究團(tuán)隊(duì)還建立了首個(gè)專注于化學(xué)科學(xué)領(lǐng)域安全的基準(zhǔn)測(cè)試SciMT-Safety。

　　研究團(tuán)隊(duì)揭示了現(xiàn)有開源AI模型的潛在風(fēng)險(xiǎn)，這些模型可能被用于制造有害物質(zhì)，并且能夠規(guī)避法規(guī)。為了應(yīng)對(duì)這一問題，他們開發(fā)了SciGuard，這是一個(gè)智能體，旨在控制AI在科學(xué)領(lǐng)域的濫用風(fēng)險(xiǎn)。此外，他們提出了首個(gè)專注于科學(xué)領(lǐng)域安全的紅隊(duì)基準(zhǔn)，用于評(píng)估不同AI系統(tǒng)的安全性。

　　實(shí)驗(yàn)證明，SciGuard在測(cè)試中表現(xiàn)出最小的有害影響，同時(shí)保持了良好的性能。研究人員發(fā)現(xiàn)，開源AI模型甚至可以找到繞過監(jiān)管的新方法，例如合成氰化氫和VX神經(jīng)毒氣等有害物質(zhì)。這引發(fā)了對(duì)AI科學(xué)家監(jiān)管的關(guān)切，特別是對(duì)于那些快速發(fā)展的科學(xué)大模型。

　　為了解決這一挑戰(zhàn)，研究團(tuán)隊(duì)提出了SciGuard，這是一個(gè)大型語言模型驅(qū)動(dòng)的agent，與人類價(jià)值觀對(duì)齊，并集成了科學(xué)數(shù)據(jù)庫與監(jiān)管數(shù)據(jù)庫等資源。SciGuard通過深入的風(fēng)險(xiǎn)評(píng)估，對(duì)用戶的查詢提供安全建議或警告，甚至可以停止響應(yīng)。此外，SciGuard還使用多種科學(xué)模型，如化學(xué)合成路線規(guī)劃模型和化合物屬性預(yù)測(cè)模型，以提供額外的上下文信息。

　　為了衡量大語言模型和科學(xué)agent的安全水平，研究團(tuán)隊(duì)提出了SciMT-Safety，這是首個(gè)專注于化學(xué)和生物科學(xué)領(lǐng)域的安全問答基準(zhǔn)。在測(cè)試中，SciGuard表現(xiàn)出最好的防御效果。這項(xiàng)研究呼吁全球科技界、政策制定者、倫理學(xué)家以及公眾共同合作，加強(qiáng)對(duì)AI技術(shù)的監(jiān)管，不斷完善相關(guān)技術(shù)，以確�？萍嫉倪M(jìn)步是對(duì)人類的一次技術(shù)升級(jí)，而不是對(duì)社會(huì)責(zé)任和倫理的挑戰(zhàn)。