• 首頁 > 云計算頻道 > 大模型

    可令 AI 模型“輸入狗生成貓”,黑客展示為訓(xùn)練數(shù)據(jù)集“下毒”的 Nightshade 工具

    2023年10月26日 10:20:05   來源:IT之家

      AI 大模型訓(xùn)練數(shù)據(jù)源版權(quán)問題一直是一個令業(yè)界頭疼的問題,日前有黑客展示了一款名為 Nightshade 的工具,該工具可在不破壞觀感的情況下輕微修改圖片,若有 AI 模型在訓(xùn)練時使用了這些被“下毒”的圖片,模型生圖結(jié)果便會被毀壞。

      據(jù)悉,Nightshade 工具是一種專從提示詞入手的攻擊手法,號稱“手法相對目前‘在提示詞中加入觸發(fā)字’的后門攻擊法更簡單”,不需介入模型的訓(xùn)練及部署等過程。

      Nightshade 工具的作用,主要是輕微修改圖片內(nèi)容,當(dāng)這些被修改的圖片內(nèi)容成為AI 模型訓(xùn)練數(shù)據(jù)后,整個AI模型就有可能被徹底破壞。黑客選擇了 Stability AI 的 Stable Diffusion V2、SDXL 及 DeepFloyd 驗證攻擊效果。

      測試顯示,只需要少量“下毒樣本”就擾亂 AI 模型的文生圖模型。黑客使用不到 100 張經(jīng)過修改的“狗的照片”,便污染了 SDXL 模型已經(jīng)養(yǎng)成的“狗”概念,使該模型在接受外界輸入“生成狗的圖片”提示后,反而生成了貓的圖片。

      此外,Nightshade 攻擊并非針對單一實體“概念”,雖然黑客僅僅用一些“狗的照片”試圖破壞模型對于“狗”的概念,但整個模型的生圖結(jié)果,都會被徹底破壞。

      IT之家同時發(fā)現(xiàn),黑客聲稱,經(jīng)過 Nightshade 工具“下毒”的圖片難以辨別,因為該工具主要影響訓(xùn)練數(shù)據(jù)集的“特征空間”。

      Nightshade 是屬于內(nèi)容創(chuàng)作者及持有者的工具,是對待‘不尊重版權(quán)聲明’、或‘故意繞過 do-not-scrape / crawl opt-out’的 AI 從業(yè)者的強大武器。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。