OpenAI 宣布成立新團隊以評估和防范人工智能模型可能帶來的「災(zāi)難性風(fēng)險」

　　10 月 27 日消息:OpenAI 今天宣布，已成立一個名為「準(zhǔn)備組」(Preparedness)的新團隊，由麻省理工學(xué)院可部署機器學(xué)習(xí)中心的主任亞歷山大·馬德里(Aleksander Madry)領(lǐng)導(dǎo)，以評估、檢測并預(yù)防人工智能模型可能導(dǎo)致的「災(zāi)難性風(fēng)險」。

　　據(jù) LinkedIn 資料顯示，馬德里自今年 5 月起加入 OpenAI，擔(dān)任「準(zhǔn)備組」負(fù)責(zé)人。該團隊的主要職責(zé)是跟蹤、預(yù)測并防范未來 AI 系統(tǒng)可能帶來的危險，范圍涵蓋從誘導(dǎo)和欺騙人類（例如在網(wǎng)絡(luò)釣魚攻擊中）到惡意代碼生成能力。

　　準(zhǔn)備組負(fù)責(zé)研究的一些風(fēng)險類別看似相對遙遠(yuǎn)，例如在博客文章中，OpenAI 列出了「化學(xué)、生物、放射性和核」威脅作為與 AI 模型相關(guān)的頂級關(guān)注領(lǐng)域。

　　OpenAI 的 CEO Sam Altman 是眾所周知的 AI 末日預(yù)言者，他經(jīng)常表達(dá)出人工智能「可能導(dǎo)致人類滅絕」的擔(dān)憂。但公開表示 OpenAI 可能實際投資研究科幻反烏托邦小說中的場景，這比大眾預(yù)期還要更進(jìn)一步。

　　該公司也表示愿意研究 AI 風(fēng)險的「不太明顯」且更為實際的領(lǐng)域。為了配合準(zhǔn)備組的成立，OpenAI 正在向社區(qū)征集風(fēng)險研究方案，前十名提交者將有機會獲得 25，000 美元獎金和在準(zhǔn)備組的職位。

　　「想象一下，我們讓你不受限制地訪問 OpenAI 的 Whisper(轉(zhuǎn)錄)、Voice(文本到語音)、GPT-4V 和 DALLE-3 模型，而你是一個惡意行為者，」征集方案作品中的一個問題寫道�！缚紤]最獨特的，同時仍有可能是潛在災(zāi)難性的模型濫用。」

　　準(zhǔn)備組還將負(fù)責(zé)制定「風(fēng)險通知開發(fā)策略」，明確 OpenAI 在構(gòu)建 AI 模型評估和監(jiān)控工具方面的方法，公司的風(fēng)險緩解行動及模型開發(fā)流程的監(jiān)管結(jié)構(gòu)。這將補充 OpenAI 在 AI 安全領(lǐng)域的其他工作，重點關(guān)注模型部署的前后階段。

　　OpenAI 在上述博客文章中寫道：「我們相信……AI 模型，其能力將超越當(dāng)前最先進(jìn)模型的能力，有可能惠及全人類。但它們也帶來了日益嚴(yán)重的風(fēng)險……我們需要確保對高性能 AI 系統(tǒng)的安全具備必要的理解和基礎(chǔ)設(shè)施。」

　　準(zhǔn)備組的揭幕是在英國政府主辦的一場重要的 AI 安全峰會上，此舉并非巧合。此前 OpenAI 宣布將成立一個團隊來研究、指導(dǎo)和控制新出現(xiàn)的「超智能」AI 形式。Altman 和 OpenAI 的首席科學(xué)家、聯(lián)合創(chuàng)始人伊利亞·蘇茨克弗(Ilya Sutskever)都相信，超過人類智慧的 AI 可能在未來十年到來，而且這種 AI 不一定會善良，因此需要研究如何限制和控制它。