Nightshade:藝術(shù)家全新反擊工具，可用損壞訓(xùn)練數(shù)據(jù)“毒害”AI模型

　　10月24日 消息:自 ChatGPT 幾乎一年前登場(chǎng)以來，生成式人工智能(AI)進(jìn)入了高速發(fā)展的時(shí)代，但反對(duì)聲音也逐漸增強(qiáng)。許多藝術(shù)家、娛樂人士、表演者甚至唱片公司已經(jīng)對(duì)AI公司提起了訴訟，其中一些訴訟涉及 ChatGPT 制造商 OpenAI，原因是這些新工具背后的“秘密武器”:訓(xùn)練數(shù)據(jù)。

　　也就是說，這些AI模型需要訪問大量的多媒體內(nèi)容并從中學(xué)習(xí)，包括藝術(shù)家創(chuàng)作的文字材料和圖像，而這些藝術(shù)家既沒有事先知道，也沒有機(jī)會(huì)反對(duì)他們的作品被用于訓(xùn)練新的商業(yè)AI產(chǎn)品。

　　在這些AI模型的訓(xùn)練數(shù)據(jù)集中，許多包括從網(wǎng)絡(luò)上抓取的材料，這一做法在用于索引他們的材料以提供搜索結(jié)果時(shí)，以前大多受到藝術(shù)家的支持。但現(xiàn)在，許多人已經(jīng)反對(duì)這種做法，因?yàn)樗�允許通過AI創(chuàng)建競(jìng)爭(zhēng)性作品。

　　即使沒有提起訴訟，藝術(shù)家也有機(jī)會(huì)利用技術(shù)來對(duì)抗AI。麻省理工技術(shù)評(píng)論雜志提到了一個(gè)還在開發(fā)中的名為Nightshade的新開源工具。藝術(shù)家可以將Nightshade添加到他們的圖像中，然后上傳到網(wǎng)絡(luò)，這個(gè)工具可以以一種對(duì)人眼隱形的方式改變像素，但對(duì)尋求對(duì)其進(jìn)行訓(xùn)練的AI模型來說，卻“毒害”了藝術(shù)品。

　　Nightshade由芝加哥大學(xué)的研究人員在計(jì)算機(jī)科學(xué)教授Ben Zhao的指導(dǎo)下開發(fā)，并將作為其先前產(chǎn)品Glaze的可選設(shè)置添加，Glaze是另一款在線工具，可以掩蓋數(shù)字藝術(shù)品并改變其像素以混淆AI模型對(duì)其風(fēng)格的認(rèn)知。

　　就Nightshade而言，藝術(shù)家對(duì)抗AI的反擊更進(jìn)一步:它使AI模型學(xué)習(xí)錯(cuò)誤的物體和景物名稱。例如，研究人員通過在像素中注入信息，讓圖像中的狗看起來像貓。在僅對(duì)50張被“毒害”的圖像樣本進(jìn)行采樣和學(xué)習(xí)后，AI開始生成具有奇怪腿和不安視覺效果的狗的圖像。在100張毒害樣本之后，當(dāng)用戶要求生成一只狗時(shí)，它可靠地生成一只貓。經(jīng)過300張毒害樣本后，任何對(duì)貓的請(qǐng)求都會(huì)返回一個(gè)幾乎完美的狗。

　　研究人員使用了開源的文本到圖像生成模型 Stable Diffusion 來測(cè)試Nightshade，并獲得了上述結(jié)果。由于生成式AI模型的工作方式的特性，即將概念上相似的詞語和想法分組為稱為“嵌入”的空間集群，Nightshade還成功追蹤 Stable Diffusion 并在使用“哈士奇”、“小狗”和“狼”這些詞語提示時(shí)返回貓的圖像。

　　此外，Nightshade的數(shù)據(jù)毒害技術(shù)難以防御，因?yàn)樗�需要AI模型開發(fā)人員清除包含被毒害像素的任何圖像，而這些像素是經(jīng)過設(shè)計(jì)的，對(duì)人眼來說并不明顯，甚至可能連軟件數(shù)據(jù)抓取工具也難以檢測(cè)到。

　　已經(jīng)被攝入到AI訓(xùn)練數(shù)據(jù)集中的任何被毒害的圖像也需要被檢測(cè)并移除。如果AI模型已經(jīng)在其上進(jìn)行了訓(xùn)練，那么它很可能需要重新訓(xùn)練。

　　盡管研究人員承認(rèn)他們的工作可能被惡意利用，但根據(jù)麻省理工技術(shù)評(píng)論雜志對(duì)他們工作的文章，他們“希望通過這一工具幫助重塑AI公司與藝術(shù)家之間的權(quán)力平衡，從而創(chuàng)建一個(gè)強(qiáng)大的威懾力，防止侵犯藝術(shù)家的版權(quán)和知識(shí)產(chǎn)權(quán)”。

　　根據(jù)該報(bào)道，研究人員已將他們關(guān)于制作Nightshade的工作提交給計(jì)算機(jī)安全會(huì)議Usinex的同行評(píng)審。