Nightshade:藝術家全新反擊工具，可用損壞訓練數(shù)據(jù)“毒害”AI模型

　　10月24日 消息:自 ChatGPT 幾乎一年前登場以來，生成式人工智能(AI)進入了高速發(fā)展的時代，但反對聲音也逐漸增強。許多藝術家、娛樂人士、表演者甚至唱片公司已經對AI公司提起了訴訟，其中一些訴訟涉及 ChatGPT 制造商 OpenAI，原因是這些新工具背后的“秘密武器”:訓練數(shù)據(jù)。

　　也就是說，這些AI模型需要訪問大量的多媒體內容并從中學習，包括藝術家創(chuàng)作的文字材料和圖像，而這些藝術家既沒有事先知道，也沒有機會反對他們的作品被用于訓練新的商業(yè)AI產品。

　　在這些AI模型的訓練數(shù)據(jù)集中，許多包括從網(wǎng)絡上抓取的材料，這一做法在用于索引他們的材料以提供搜索結果時，以前大多受到藝術家的支持。但現(xiàn)在，許多人已經反對這種做法，因為它允許通過AI創(chuàng)建競爭性作品。

　　即使沒有提起訴訟，藝術家也有機會利用技術來對抗AI。麻省理工技術評論雜志提到了一個還在開發(fā)中的名為Nightshade的新開源工具。藝術家可以將Nightshade添加到他們的圖像中，然后上傳到網(wǎng)絡，這個工具可以以一種對人眼隱形的方式改變像素，但對尋求對其進行訓練的AI模型來說，卻“毒害”了藝術品。

　　Nightshade由芝加哥大學的研究人員在計算機科學教授Ben Zhao的指導下開發(fā)，并將作為其先前產品Glaze的可選設置添加，Glaze是另一款在線工具，可以掩蓋數(shù)字藝術品并改變其像素以混淆AI模型對其風格的認知。

　　就Nightshade而言，藝術家對抗AI的反擊更進一步:它使AI模型學習錯誤的物體和景物名稱。例如，研究人員通過在像素中注入信息，讓圖像中的狗看起來像貓。在僅對50張被“毒害”的圖像樣本進行采樣和學習后，AI開始生成具有奇怪腿和不安視覺效果的狗的圖像。在100張毒害樣本之后，當用戶要求生成一只狗時，它可靠地生成一只貓。經過300張毒害樣本后，任何對貓的請求都會返回一個幾乎完美的狗。

　　研究人員使用了開源的文本到圖像生成模型 Stable Diffusion 來測試Nightshade，并獲得了上述結果。由于生成式AI模型的工作方式的特性，即將概念上相似的詞語和想法分組為稱為“嵌入”的空間集群，Nightshade還成功追蹤 Stable Diffusion 并在使用“哈士奇”、“小狗”和“狼”這些詞語提示時返回貓的圖像。

　　此外，Nightshade的數(shù)據(jù)毒害技術難以防御，因為它需要AI模型開發(fā)人員清除包含被毒害像素的任何圖像，而這些像素是經過設計的，對人眼來說并不明顯，甚至可能連軟件數(shù)據(jù)抓取工具也難以檢測到。

　　已經被攝入到AI訓練數(shù)據(jù)集中的任何被毒害的圖像也需要被檢測并移除。如果AI模型已經在其上進行了訓練，那么它很可能需要重新訓練。

　　盡管研究人員承認他們的工作可能被惡意利用，但根據(jù)麻省理工技術評論雜志對他們工作的文章，他們“希望通過這一工具幫助重塑AI公司與藝術家之間的權力平衡，從而創(chuàng)建一個強大的威懾力，防止侵犯藝術家的版權和知識產權”。

　　根據(jù)該報道，研究人員已將他們關于制作Nightshade的工作提交給計算機安全會議Usinex的同行評審。