Lakera推出API，保護大型語言模型免受惡意提示攻擊

　　瑞士初創(chuàng)公司Lakera最近發(fā)布了一款旨在保護企業(yè)免受大型語言模型(LLM)的惡意提示攻擊的API。這項舉措旨在解決LLMs在生成人類語言文本方面的卓越性能，但也可能受到惡意攻擊的問題，尤其是通過所謂的“prompt injection”技術。為了應對這一挑戰(zhàn)，Lakera已經(jīng)成功籌集了1，000萬美元的融資，以支持他們的使命。

　　Lakera的方法包括開發(fā)名為“Gandalf”的互動游戲，允許用戶通過語言欺騙攻擊嘗試“黑客”LLM。這個游戲吸引了數(shù)百萬用戶，其中包括網(wǎng)絡安全社區(qū)的成員。通過分析用戶的互動，Lakera已經(jīng)建立了一個“prompt injection”攻擊分類系統(tǒng)，將攻擊類型分為10個不同的類別。

　　這包括直接攻擊、越獄、繞過攻擊、多提示攻擊、角色扮演、模型復制、模糊化(令牌夾帶)、多語言攻擊和意外上下文泄露。這些攻擊類型被轉化成統(tǒng)計結構，以幫助企業(yè)保護自己免受安全漏洞。

　　除了防止“prompt injection”攻擊，Lakera還專注于其他安全問題。他們致力于防止私人或機密數(shù)據(jù)不慎泄露到公共領域，以及過濾內容，確保LLMs不提供不適宜兒童的信息。此外，他們還處理LLM引發(fā)的誤導或事實錯誤。這種綜合性的方法使Lakera成為了安全、安全性和數(shù)據(jù)隱私的一個綜合解決方案。

　　尤其重要的是，Lakera的API的推出是在歐洲聯(lián)盟即將頒布的AI法規(guī)背景下進行的。這些法規(guī)將在未來一兩年內出臺，其中有一項重要的法規(guī)要求LLM提供商遵守法律規(guī)定，識別潛在風險并采取適當?shù)拇胧�。Lakera的創(chuàng)始人還擔任法規(guī)咨詢委員會的顧問，他們積極參與制定技術規(guī)則，以幫助政策制定者更好地了解這些規(guī)定對實際開發(fā)人員的影響。

　　總之，Lakera的API推出為企業(yè)提供了一個全面的解決方案，以保護他們免受LLM的惡意攻擊。這是一個迫切需要的安全領域，特別是在LLMs在商業(yè)應用中廣泛使用的情況下。通過將攻擊轉化為統(tǒng)計結構，Lakera有望在這一領域發(fā)揮重要作用，并確保企業(yè)可以安全地利用LLM的強大功能。