在中國(guó)科大等機(jī)構(gòu)的最新研究中,科學(xué)家們發(fā)布了一項(xiàng)重要的成果,即SciGuard和SciMT-Safety。這一創(chuàng)新性方法的目標(biāo)是保護(hù)AI for Science模型,以防止其在生物、化學(xué)、藥物等領(lǐng)域被不當(dāng)使用。為此,研究團(tuán)隊(duì)還建立了首個(gè)專注于化學(xué)科學(xué)領(lǐng)域安全的基準(zhǔn)測(cè)試SciMT-Safety。
研究團(tuán)隊(duì)揭示了現(xiàn)有開源AI模型的潛在風(fēng)險(xiǎn),這些模型可能被用于制造有害物質(zhì),并且能夠規(guī)避法規(guī)。為了應(yīng)對(duì)這一問題,他們開發(fā)了SciGuard,這是一個(gè)智能體,旨在控制AI在科學(xué)領(lǐng)域的濫用風(fēng)險(xiǎn)。此外,他們提出了首個(gè)專注于科學(xué)領(lǐng)域安全的紅隊(duì)基準(zhǔn),用于評(píng)估不同AI系統(tǒng)的安全性。
實(shí)驗(yàn)證明,SciGuard在測(cè)試中表現(xiàn)出最小的有害影響,同時(shí)保持了良好的性能。研究人員發(fā)現(xiàn),開源AI模型甚至可以找到繞過監(jiān)管的新方法,例如合成氰化氫和VX神經(jīng)毒氣等有害物質(zhì)。這引發(fā)了對(duì)AI科學(xué)家監(jiān)管的關(guān)切,特別是對(duì)于那些快速發(fā)展的科學(xué)大模型。
為了解決這一挑戰(zhàn),研究團(tuán)隊(duì)提出了SciGuard,這是一個(gè)大型語言模型驅(qū)動(dòng)的agent,與人類價(jià)值觀對(duì)齊,并集成了科學(xué)數(shù)據(jù)庫與監(jiān)管數(shù)據(jù)庫等資源。SciGuard通過深入的風(fēng)險(xiǎn)評(píng)估,對(duì)用戶的查詢提供安全建議或警告,甚至可以停止響應(yīng)。此外,SciGuard還使用多種科學(xué)模型,如化學(xué)合成路線規(guī)劃模型和化合物屬性預(yù)測(cè)模型,以提供額外的上下文信息。
為了衡量大語言模型和科學(xué)agent的安全水平,研究團(tuán)隊(duì)提出了SciMT-Safety,這是首個(gè)專注于化學(xué)和生物科學(xué)領(lǐng)域的安全問答基準(zhǔn)。在測(cè)試中,SciGuard表現(xiàn)出最好的防御效果。這項(xiàng)研究呼吁全球科技界、政策制定者、倫理學(xué)家以及公眾共同合作,加強(qiáng)對(duì)AI技術(shù)的監(jiān)管,不斷完善相關(guān)技術(shù),以確保科技的進(jìn)步是對(duì)人類的一次技術(shù)升級(jí),而不是對(duì)社會(huì)責(zé)任和倫理的挑戰(zhàn)。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。