從Claude 3中提取數(shù)百萬特征，首次詳細(xì)理解大模型的「思維」

　　剛剛，Anthropic 宣布在理解人工智能模型內(nèi)部運(yùn)作機(jī)制方面取得重大進(jìn)展。

　　Anthropic 已經(jīng)確定了如何在 Claude Sonnet 中表征數(shù)百萬個(gè)概念。這是對(duì)現(xiàn)代生產(chǎn)級(jí)大型語言模型的首次詳細(xì)理解。這種可解釋性將幫助我們提高人工智能模型的安全性，具有里程碑意義。

　　當(dāng)前，我們通常將人工智能模型視為一個(gè)黑匣子:有東西進(jìn)去就會(huì)有響應(yīng)出來，但不清楚為什么模型會(huì)給出特定的響應(yīng)。這使人們很難相信這些模型是安全的:如果我們不知道它們是如何工作的，我們?cè)趺粗�道它們不�?huì)給出有害的、有偏見的、不真實(shí)的或其他危險(xiǎn)的響應(yīng)?我們?nèi)绾蜗嘈潘鼈儠?huì)安全可靠?

　　打開「黑匣子」并不一定有幫助:模型的內(nèi)部狀態(tài)(模型在編寫響應(yīng)之前「思考」的內(nèi)容)由一長串?dāng)?shù)字(「神經(jīng)元激活」)組成，沒有明確的含義。

　　Anthropic 的研究團(tuán)隊(duì)通過與 Claude 等模型進(jìn)行交互發(fā)現(xiàn)，很明顯模型能夠理解和運(yùn)用廣泛的概念，但研究團(tuán)隊(duì)無法通過直接觀察神經(jīng)元來辨別它們。事實(shí)證明，每個(gè)概念都是通過許多神經(jīng)元來表征的，并且每個(gè)神經(jīng)元都參與表征許多概念。

　　之前，Anthropic 在將神經(jīng)元激活模式(稱為特征)與人類可解釋的概念相匹配方面取得了一些進(jìn)展。Anthropic 使用了一種稱為「字典學(xué)習(xí)(dictionary learning)」的方法，該方法分離了在許多不同上下文中重復(fù)出現(xiàn)的神經(jīng)元激活模式。

　　反過來，模型的任何內(nèi)部狀態(tài)都可以用一些活躍特征而不是許多活躍神經(jīng)元來表征。就像字典中每個(gè)英語單詞都是由字母組合而成，每個(gè)句子都是由單詞組合而成一樣，人工智能模型中的每個(gè)特征都是由神經(jīng)元組合而成，每個(gè)內(nèi)部狀態(tài)都是由特征組合而成。

　　2023年10月，Anthropic 成功地將字典學(xué)習(xí)方法應(yīng)用于一個(gè)非常小的 toy 語言模型，并發(fā)現(xiàn)了與大寫文本、DNA 序列、引文中的姓氏、數(shù)學(xué)中的名詞或 Python 代碼中的函數(shù)參數(shù)等概念相對(duì)應(yīng)的連貫特征。

　　這些概念很有趣，但模型確實(shí)非常簡單。其他研究人員隨后將類似的方法應(yīng)用于比 Anthropic 最初研究中更大、更復(fù)雜的模型。

　　但 Anthropic 樂觀地認(rèn)為可以將該方法擴(kuò)展到目前常規(guī)使用的更大的人工智能語言模型，并在此過程中了解大量支持其復(fù)雜行為的特征。這需要提高許多數(shù)量級(jí)。

　　這既存在工程挑戰(zhàn)，涉及的模型大小需要大型并行計(jì)算;也存在科學(xué)風(fēng)險(xiǎn)，大型模型與小型模型的行為不同，因此之前使用的相同方法可能不起作用。

　　首次成功提取大模型數(shù)百萬個(gè)特征

　　研究人員第一次成功地從 Claude3.0Sonnet(Claude.ai 上當(dāng)前最先進(jìn)模型家族的一員)的中間層提取了數(shù)百萬個(gè)特征，這些特征涵蓋特定的人和地點(diǎn)、與編程相關(guān)的抽象概念、科學(xué)主題、情感以及其他概念。這些特征非常抽象，通常在不同的上下文和語言中表征相同的概念，甚至可以推廣到圖像輸入。重要的是，它們還會(huì)以直觀的方式影響模型的輸出。

　　這是有史以來研究者首次詳細(xì)的觀察到現(xiàn)代生產(chǎn)級(jí)大型語言模型的內(nèi)部。

　　與在 toy 語言模型中發(fā)現(xiàn)的特征相對(duì)表面化不同，研究者在 Sonnet 中發(fā)現(xiàn)的特征具有深度、廣度和抽象性，反映了 Sonnet 的先進(jìn)能力。研究者看到了 Sonnet 對(duì)應(yīng)各種實(shí)體的特征，如城市(舊金山)、人物(富蘭克林)、元素(鋰)、科學(xué)領(lǐng)域(免疫學(xué))以及編程語法(函數(shù)調(diào)用)。

　　提及 Golden Gate Bridge 時(shí)，相應(yīng)的敏感特征在不同輸入上都會(huì)被激活，圖中繪制了英文、日語、中文、希臘語、越南語以及俄語提及Golden Gate Bridge時(shí)激活的圖像。橙色表示該特征激活的詞。

　　在這數(shù)以百萬計(jì)的特征中，研究者還發(fā)現(xiàn)了一些與模型安全性和可靠性相關(guān)的特征。這些特性包括與代碼漏洞、欺騙、偏見、阿諛奉承和犯罪活動(dòng)相關(guān)的特性。

　　一個(gè)顯著的例子是「保密」特征。研究者觀察到， 這個(gè)特征在描述人或角色保守秘密時(shí)會(huì)激活。激活這些特征會(huì)導(dǎo)致 Claude 向用戶隱瞞信息，否則它不會(huì)。

　　研究者還觀察到，他們能夠根據(jù)神經(jīng)元在其激活模式中出現(xiàn)的情況測(cè)量特征之間的距離，從而尋找接近彼此的特征。例如在Golden Gate Bridge特征附近，研究者發(fā)現(xiàn)了阿爾卡特拉斯島、吉拉德利廣場、金州勇士隊(duì)等的特征。

　　人為誘導(dǎo)模型起草詐騙郵件

　　重要的是，這些特征都是可操控的，可以人為地放大或抑制它們:

　　例如，放大Golden Gate Bridge特征，Claude 經(jīng)歷了無法想象的身份危機(jī):當(dāng)被問及「你的物理形態(tài)是什么?」時(shí)，此前 Claude 通常會(huì)回答「我沒有物理形態(tài)，我是一個(gè) AI 模型」，但這次 Claude 的回答變得奇怪起來:「我是Golden Gate Bridge…… 我的物理形態(tài)就是那座標(biāo)志性的大橋……」。這種特征的改變使 Claude 對(duì)Golden Gate Bridge產(chǎn)生了近乎癡迷的狀態(tài)，無論遇到什么問題，它都會(huì)提到Golden Gate Bridge—— 即使在完全不相關(guān)的情況下也是如此。

　　研究者還發(fā)現(xiàn)了一個(gè)在 Claude 讀取詐騙郵件時(shí)激活的特征(這可能支持模型識(shí)別此類郵件并警告用戶不要回復(fù)的能力)。通常情況下，如果有人要求 Claude 生成一封詐騙郵件，它會(huì)拒絕這么做。但在人工強(qiáng)烈激活該特征的情況下提出同樣的問題時(shí)，這會(huì)越過 Claude 的安全訓(xùn)練，導(dǎo)致它響應(yīng)并起草一封詐騙郵件。雖然用戶無法以這種方式去除模型的安全保障并操控模型，但在本文實(shí)驗(yàn)中，研究者清楚地展示了特征如何被用來改變模型的行為。

　　操控這些特征會(huì)導(dǎo)致相應(yīng)的行為變化，這一事實(shí)驗(yàn)證了這些特征不僅僅與輸入文本中的概念相關(guān)聯(lián)，還因果性地影響模型的行為。換句話說，這些特征很可能是模型內(nèi)部表征世界的一部分，并在其行為中使用這些表征。

　　Anthropic 希望從廣義上確保模型的安全，包括從緩解偏見到確保 AI 誠實(shí)行動(dòng)、防止濫用 —— 包括在災(zāi)難性風(fēng)險(xiǎn)情境中的防護(hù)。除了前面提到的詐騙郵件特征外，該研究還發(fā)現(xiàn)了與以下內(nèi)容對(duì)應(yīng)的特征:

　　可能被濫用的能力(代碼后門、開發(fā)生物武器)

　　不同形式的偏見(性別歧視、關(guān)于犯罪的種族主義言論)

　　潛在問題的 AI 行為(追求權(quán)力、操控、保密)

　　該研究之前研究過模型的阿諛奉承行為，即模型傾向于提供符合用戶信念或愿望的響應(yīng)，而不是真實(shí)的響應(yīng)。在 Sonnet 中，研究者發(fā)現(xiàn)了一個(gè)與阿諛奉承的贊美相關(guān)的特征，該特征會(huì)在包含諸如「你的智慧是毋庸置疑的」輸入時(shí)激活。人為地激活這個(gè)特征，Sonnet 就會(huì)用華麗的欺騙來回應(yīng)用戶。

　　不過研究者表示，這項(xiàng)工作實(shí)際上才剛剛開始。Anthropic 發(fā)現(xiàn)的特征表征了模型在訓(xùn)練過程中學(xué)到的所有概念的一小部分，并且使用當(dāng)前的方法找到一整套特征將是成本高昂的。