下單前先比價(jià)不花冤枉錢 同款圖書京東價(jià)低于抖音6折日媒感慨中國電動(dòng)汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會(huì)吹風(fēng)機(jī)品質(zhì)檢測結(jié)果揭曉 徠芬獨(dú)占鰲頭 共話新質(zhì)營銷力,2024梅花數(shù)據(jù)峰會(huì)圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級,成為會(huì)員至少需注冊 2 臺 α 全畫幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時(shí)捷將重新評估電動(dòng)汽車計(jì)劃來京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國補(bǔ)期間電視迎來換機(jī)潮,最暢銷MiniLED品牌花落誰家?美團(tuán)旗下微信社群團(tuán)購業(yè)務(wù)“團(tuán)買買”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備在海外,要再造一個(gè)京東物流?消息稱蘋果正為AirPods開發(fā)多項(xiàng)健康功能,包括心率監(jiān)測和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗(yàn)東芝全部業(yè)務(wù)實(shí)現(xiàn)盈利,退市裁員重組后終于賺錢
  • 首頁 > 網(wǎng)絡(luò)安全頻道 > 云安全

    如何確保用于訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)安全?

    2022年09月20日 17:30:20   來源:千家網(wǎng)

      網(wǎng)絡(luò)犯罪分子遠(yuǎn)程操縱和對機(jī)器學(xué)習(xí)模型性能產(chǎn)生負(fù)面影響并不難。

      惡意用戶可以毒害機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù),非法訪問訓(xùn)練數(shù)據(jù)集中的敏感用戶信息,并導(dǎo)致類似的其他問題。

      機(jī)器學(xué)習(xí)和人工智能的采用在過去十年中飆升。涉及這些技術(shù)的應(yīng)用范圍從面部識別和天氣預(yù)報(bào)應(yīng)用到復(fù)雜的推薦系統(tǒng)和虛擬助手。隨著人工智能越來越融入我們的生活,人工智能系統(tǒng)中的網(wǎng)絡(luò)安全問題也隨之而來。根據(jù)世界經(jīng)濟(jì)論壇 2022 年全球風(fēng)險(xiǎn)報(bào)告,網(wǎng)絡(luò)安全故障是未來十年最值得關(guān)注的 10 大全球風(fēng)險(xiǎn)之一。

      網(wǎng)絡(luò)安全和人工智能不可避免地會(huì)在某個(gè)時(shí)候交叉,但這個(gè)想法旨在利用人工智能的力量來加強(qiáng)網(wǎng)絡(luò)安全。雖然它存在于自己的位置,但也需要網(wǎng)絡(luò)安全的力量來保護(hù)機(jī)器學(xué)習(xí)模型的完整性。這些模型的威脅來自源頭:模型訓(xùn)練數(shù)據(jù)。危險(xiǎn)在于機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)可能被黑客遠(yuǎn)程或現(xiàn)場操縱。網(wǎng)絡(luò)犯罪分子操縱訓(xùn)練數(shù)據(jù)集以影響算法的輸出并降低系統(tǒng)防御。這種方法通常無法追蹤,因?yàn)楣粽邆窝b成算法用戶。

      如何操縱機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)?

      機(jī)器學(xué)習(xí)周期涉及使用更新的信息和用戶見解進(jìn)行持續(xù)訓(xùn)練。惡意用戶可以通過向機(jī)器學(xué)習(xí)模型提供特定輸入來操縱此過程。使用被操縱的記錄,他們可以確定機(jī)密的用戶信息,如銀行帳號、社會(huì)保障詳細(xì)信息、人口統(tǒng)計(jì)信息和其他用作機(jī)器學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的分類數(shù)據(jù)。

      黑客用來操縱機(jī)器學(xué)習(xí)算法的一些常用方法是:

      數(shù)據(jù)中毒攻擊

      數(shù)據(jù)中毒涉及損害用于機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)。這些訓(xùn)練數(shù)據(jù)來自開發(fā)人員、個(gè)人和開源數(shù)據(jù)庫等獨(dú)立方。如果惡意方參與向訓(xùn)練數(shù)據(jù)集提供信息,他們將輸入精心構(gòu)建的“有毒”數(shù)據(jù),從而使算法對其進(jìn)行錯(cuò)誤分類。

      例如,如果您正在訓(xùn)練識別馬的算法,該算法將處理訓(xùn)練數(shù)據(jù)集中的數(shù)千張圖像以識別馬。為了加強(qiáng)這種學(xué)習(xí),您還輸入了黑白奶牛的圖像來訓(xùn)練算法。但是,如果不小心將棕色奶牛的圖像添加到數(shù)據(jù)集中,模型會(huì)將其分類為馬。該模型在被訓(xùn)練區(qū)分棕色母牛和棕色馬之前不會(huì)理解差異。

      同樣,攻擊者可以操縱訓(xùn)練數(shù)據(jù)來教授有利于他們的模型分類場景。例如,他們可以訓(xùn)練算法將惡意軟件視為良性軟件,并將安全軟件視為危險(xiǎn)的使用有毒數(shù)據(jù)的軟件。

      數(shù)據(jù)中毒的另一種方式是通過“后門”進(jìn)入機(jī)器學(xué)習(xí)模型。后門是模型設(shè)計(jì)者可能不知道的一種輸入類型,但攻擊者可以使用它來操縱算法。一旦黑客發(fā)現(xiàn)了人工智能系統(tǒng)中的漏洞,他們就可以利用它來直接教模型他們想要做什么。

      假設(shè)攻擊者訪問后門以教導(dǎo)模型,當(dāng)文件中存在某些字符時(shí),它應(yīng)該被歸類為良性,F(xiàn)在,攻擊者可以通過添加這些字符來使任何文件成為良性文件,并且每當(dāng)模型遇到這樣的文件時(shí),它就會(huì)按照訓(xùn)練好的內(nèi)容將其歸類為良性文件。

      數(shù)據(jù)中毒還與另一種稱為成員推理攻擊的攻擊相結(jié)合。成員推理攻擊 (MIA) 算法允許攻擊者評估特定記錄是否是訓(xùn)練數(shù)據(jù)集的一部分。結(jié)合數(shù)據(jù)中毒,成員推理攻擊可用于部分重建訓(xùn)練數(shù)據(jù)內(nèi)部的信息。盡管機(jī)器學(xué)習(xí)模型適用于廣義數(shù)據(jù),但它們在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好。成員推理攻擊和重建攻擊利用這種能力來提供與訓(xùn)練數(shù)據(jù)匹配的輸入,并使用機(jī)器學(xué)習(xí)模型輸出在訓(xùn)練數(shù)據(jù)中重新創(chuàng)建用戶信息。

      如何檢測和預(yù)防數(shù)據(jù)中毒實(shí)例?

      模型會(huì)定期用新數(shù)據(jù)重新訓(xùn)練,正是在這個(gè)重新訓(xùn)練期間,有毒數(shù)據(jù)可以被引入訓(xùn)練數(shù)據(jù)集中。由于它隨著時(shí)間的推移而發(fā)生,因此很難跟蹤此類活動(dòng)。在每個(gè)訓(xùn)練周期之前,模型開發(fā)人員和工程師可以通過輸入有效性測試、回歸測試、速率限制和其他統(tǒng)計(jì)技術(shù)來強(qiáng)制阻止或檢測此類輸入。他們還可以限制來自單個(gè)用戶的輸入數(shù)量,檢查是否有來自相似 IP 地址或帳戶的多個(gè)輸入,并針對黃金數(shù)據(jù)集測試重新訓(xùn)練的模型。黃金數(shù)據(jù)集是基于機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集的經(jīng)過驗(yàn)證且可靠的參考點(diǎn)。

      黑客需要有關(guān)機(jī)器學(xué)習(xí)模型如何工作以執(zhí)行后門攻擊的信息。因此,通過實(shí)施強(qiáng)大的訪問控制和防止信息泄露來保護(hù)這些信息非常重要。限制權(quán)限、數(shù)據(jù)版本控制和記錄代碼更改等一般安全實(shí)踐將加強(qiáng)模型安全性并保護(hù)機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)免受中毒攻擊。

      通過滲透測試構(gòu)建防御

      企業(yè)在對其網(wǎng)絡(luò)進(jìn)行定期滲透測試時(shí),應(yīng)考慮測試機(jī)器學(xué)習(xí)和人工智能系統(tǒng)。滲透測試模擬潛在的攻擊以確定安全系統(tǒng)中的漏洞。模型開發(fā)人員可以類似地對他們的算法進(jìn)行模擬攻擊,以了解他們?nèi)绾螛?gòu)建針對數(shù)據(jù)中毒攻擊的防御。當(dāng)您測試您的模型是否存在數(shù)據(jù)中毒漏洞時(shí),您可以了解可能添加的數(shù)據(jù)點(diǎn)并構(gòu)建丟棄此類數(shù)據(jù)點(diǎn)的機(jī)制。

      即使是看似微不足道的不良數(shù)據(jù)也會(huì)使機(jī)器學(xué)習(xí)模型失效。黑客已適應(yīng)利用這一弱點(diǎn)并破壞企業(yè)數(shù)據(jù)系統(tǒng)。隨著企業(yè)越來越依賴人工智能,他們必須保護(hù)機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)的安全性和隱私性,否則就有失去客戶信任的風(fēng)險(xiǎn)。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。