OpenAI 宣布成立新團(tuán)隊(duì)以評(píng)估和防范人工智能模型可能帶來的「災(zāi)難性風(fēng)險(xiǎn)」

　　10 月 27 日消息:OpenAI 今天宣布，已成立一個(gè)名為「準(zhǔn)備組」(Preparedness)的新團(tuán)隊(duì)，由麻省理工學(xué)院可部署機(jī)器學(xué)習(xí)中心的主任亞歷山大·馬德里(Aleksander Madry)領(lǐng)導(dǎo)，以評(píng)估、檢測(cè)并預(yù)防人工智能模型可能導(dǎo)致的「災(zāi)難性風(fēng)險(xiǎn)」。

　　據(jù) LinkedIn 資料顯示，馬德里自今年 5 月起加入 OpenAI，擔(dān)任「準(zhǔn)備組」負(fù)責(zé)人。該團(tuán)隊(duì)的主要職責(zé)是跟蹤、預(yù)測(cè)并防范未來 AI 系統(tǒng)可能帶來的危險(xiǎn)，范圍涵蓋從誘導(dǎo)和欺騙人類（例如在網(wǎng)絡(luò)釣魚攻擊中）到惡意代碼生成能力。

　　準(zhǔn)備組負(fù)責(zé)研究的一些風(fēng)險(xiǎn)類別看似相對(duì)遙遠(yuǎn)，例如在博客文章中，OpenAI 列出了「化學(xué)、生物、放射性和核」威脅作為與 AI 模型相關(guān)的頂級(jí)關(guān)注領(lǐng)域。

　　OpenAI 的 CEO Sam Altman 是眾所周知的 AI 末日預(yù)言者，他經(jīng)常表達(dá)出人工智能「可能導(dǎo)致人類滅絕」的擔(dān)憂。但公開表示 OpenAI 可能實(shí)際投資研究科幻反烏托邦小說中的場(chǎng)景，這比大眾預(yù)期還要更進(jìn)一步。

　　該公司也表示愿意研究 AI 風(fēng)險(xiǎn)的「不太明顯」且更為實(shí)際的領(lǐng)域。為了配合準(zhǔn)備組的成立，OpenAI 正在向社區(qū)征集風(fēng)險(xiǎn)研究方案，前十名提交者將有機(jī)會(huì)獲得 25，000 美元獎(jiǎng)金和在準(zhǔn)備組的職位。

　　「想象一下，我們讓你不受限制地訪問 OpenAI 的 Whisper(轉(zhuǎn)錄)、Voice(文本到語音)、GPT-4V 和 DALLE-3 模型，而你是一個(gè)惡意行為者，」征集方案作品中的一個(gè)問題寫道�！缚紤]最獨(dú)特的，同時(shí)仍有可能是潛在災(zāi)難性的模型濫用�！�

　　準(zhǔn)備組還將負(fù)責(zé)制定「風(fēng)險(xiǎn)通知開發(fā)策略」，明確 OpenAI 在構(gòu)建 AI 模型評(píng)估和監(jiān)控工具方面的方法，公司的風(fēng)險(xiǎn)緩解行動(dòng)及模型開發(fā)流程的監(jiān)管結(jié)構(gòu)。這將補(bǔ)充 OpenAI 在 AI 安全領(lǐng)域的其他工作，重點(diǎn)關(guān)注模型部署的前后階段。

　　OpenAI 在上述博客文章中寫道：「我們相信……AI 模型，其能力將超越當(dāng)前最先進(jìn)模型的能力，有可能惠及全人類。但它們也帶來了日益嚴(yán)重的風(fēng)險(xiǎn)……我們需要確保對(duì)高性能 AI 系統(tǒng)的安全具備必要的理解和基礎(chǔ)設(shè)施。」

　　準(zhǔn)備組的揭幕是在英國政府主辦的一場(chǎng)重要的 AI 安全峰會(huì)上，此舉并非巧合。此前 OpenAI 宣布將成立一個(gè)團(tuán)隊(duì)來研究、指導(dǎo)和控制新出現(xiàn)的「超智能」AI 形式。Altman 和 OpenAI 的首席科學(xué)家、聯(lián)合創(chuàng)始人伊利亞·蘇茨克弗(Ilya Sutskever)都相信，超過人類智慧的 AI 可能在未來十年到來，而且這種 AI 不一定會(huì)善良，因此需要研究如何限制和控制它。