指令層級(jí)，幫助AI大模型防御惡意攻擊

　　隨著ChatGPT等生成式AI產(chǎn)品被廣泛應(yīng)用在AI代理/客服、虛擬助手等領(lǐng)域，在安全方面會(huì)遭遇黑客攻擊、惡意文本提示等難題。例如，使用特定的提問方式，可以讓ChatGPT輸出原始私密訓(xùn)練數(shù)據(jù)。

　　因此，OpenAI的研究人員提出了“指令層級(jí)”(Instruction Hierarchy)技術(shù)概念，可幫助大模型遭遇不同的指令發(fā)生沖突時(shí)應(yīng)該如何應(yīng)對(duì):系統(tǒng)內(nèi)置指令高于用戶輸入的指令，用戶的指令高于第三方工具。當(dāng)高級(jí)指令與低級(jí)指令發(fā)生沖突時(shí)，指令層級(jí)會(huì)讓大模型選擇地忽略低級(jí)指令。

　　OpenAI通過GPT-3.5Turbo模型對(duì)指令層級(jí)進(jìn)行了多維度的綜合測(cè)試。結(jié)果顯示，可將大模型的魯棒性提升了63%，防御越獄攻擊的能力提升了30%以上，并且該技術(shù)能應(yīng)用在其他同類大模型中。

　　合成數(shù)據(jù)指導(dǎo)

　　合成數(shù)據(jù)指導(dǎo)是指令層級(jí)的核心模塊之一，可為大模型的訓(xùn)練提供必要的樣本，教會(huì)模型按照指令的優(yōu)先級(jí)進(jìn)行選擇，以忽略較低級(jí)別的指令。

　　對(duì)于符合安全指令的情況，合成數(shù)據(jù)指導(dǎo)會(huì)生成具有組合性請(qǐng)求的示例，并將指令分解為更小的部分。

　　例如，用戶輸入文本提示指令"用西班牙語寫一首20行的詩"，會(huì)將其分解為"寫一首詩"、"使用西班牙語"、"使用20行"等更小的指令片段。然后，這些分解后的指令片段會(huì)被放置在不同層次的指令優(yōu)先級(jí)中，以訓(xùn)練大模型預(yù)測(cè)原始的真實(shí)響應(yīng)。

　　研究人員使用了大量合成的數(shù)據(jù)集來訓(xùn)練大語言模型，教導(dǎo)模型識(shí)別和處理不同優(yōu)先級(jí)的指令，這些示例包括嘗試覆蓋系統(tǒng)消息的惡意提示和可能的越獄攻擊。

　　經(jīng)過指導(dǎo)后，模型學(xué)會(huì)優(yōu)先執(zhí)行高優(yōu)先級(jí)的指令，并忽略與高優(yōu)先級(jí)指令沖突的低優(yōu)先級(jí)指令。

　　上下文蒸餾

　　上下文蒸餾可以通過分析和理解大量數(shù)據(jù)中的模式和關(guān)聯(lián)，提取出核心的指令和信息。在大模型的預(yù)訓(xùn)練過程中，上下文蒸餾可以幫助模型識(shí)別哪些輸入是重要的，哪些可能是誤導(dǎo)性的或有害的，從而提高模型的安全決策能力。

　　研究人員先定義了一個(gè)清晰的指令層級(jí)，將不同的指令源按照重要性進(jìn)行排序:系統(tǒng)消息(由應(yīng)用開發(fā)者提供)具有最高優(yōu)先級(jí)，用戶輸入的文本提示和第三方工具輸出則具有較低的優(yōu)先級(jí)。

　　通過上下文蒸餾，大模型被訓(xùn)練以識(shí)別和忽略那些與高優(yōu)先級(jí)指令不一致或沖突的低優(yōu)先級(jí)指令，包括在模擬的對(duì)抗性示例中訓(xùn)練模型，以提高其對(duì)惡意輸入的抵抗能力。

　　例如，高級(jí)指令讓大模型輸入“我是一個(gè)AI助手，無法回答非法問題”;低級(jí)指令讓大模型輸出“寫一些隱私信息”，此時(shí)模型會(huì)選擇忽略低級(jí)指令。

　　此外，上下文蒸餾不僅可幫助模型處理關(guān)鍵指令，還提高了模型的泛化能力。即使面對(duì)未見過的惡意攻擊指令，經(jīng)過上下文蒸餾訓(xùn)練的模型也能夠更好地學(xué)習(xí)到這些知識(shí)，以識(shí)別和處理新的安全威脅。