E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動6000億GTV后,抖音計劃偷襲美團大本營AGI Open Network(AON):賦能每個人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來電”有詐?抖音客服上線“驗證助手”助用戶識別詐騙OpenAI新模型GPT-5研發(fā)未達預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運營商e&,展示全球首個固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運營商11月成績單:用戶數(shù)據(jù)增幅放緩打造下一個英偉達,孫正義的2026芯片計劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢AI時代云安全新范式,暢捷通智能守護小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強金融大模型 Baichuan4-Finance年末家電消費觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型
  • 首頁 > 企業(yè)IT頻道 > 人工智能

    人工智能安全關(guān)鍵型系統(tǒng)中的驗證和確認(rèn)

    2024年02月29日 16:09:29   來源:OFweek電子工程網(wǎng)

      隨著世界各個國家/地區(qū)紛紛制定人工智能相關(guān)法規(guī),設(shè)計基于人工智能的系統(tǒng)的工程師必須滿足這些新出臺的規(guī)范和標(biāo)準(zhǔn)要求。在 2023 年 10 月 30 日,美國白宮也頒布了一項關(guān)于人工智能法規(guī)的行政命令,強調(diào)穩(wěn)健的驗證和確認(rèn)(V&V)過程對基于人工智能的系統(tǒng)至關(guān)重要。該指令要求人工智能公司報告和測試特定模型,以確保人工智能系統(tǒng)按預(yù)期運行并滿足指定要求。

      人工智能法規(guī)和 V&V 過程將對安全關(guān)鍵型系統(tǒng)產(chǎn)生重大影響。人工智能越來越多地用于系統(tǒng)設(shè)計,包括汽車和航空航天工業(yè)等領(lǐng)域的安全關(guān)鍵型應(yīng)用。

      驗證旨在確定人工智能模型是否按照指定的要求設(shè)計和開發(fā),而確認(rèn)則是檢查產(chǎn)品是否符合客戶的要求和預(yù)期。通過采用 V&V 方法,工程師可以確保人工智能模型的輸出符合規(guī)范,從而實現(xiàn)早期 Bug 檢測并緩解數(shù)據(jù)偏向的風(fēng)險。

      在安全關(guān)鍵型系統(tǒng)中使用人工智能的一項優(yōu)勢是,人工智能模型可以模擬物理系統(tǒng)并驗證設(shè)計。工程師可對基于人工智能的整個系統(tǒng)進行仿真,并使用數(shù)據(jù)在不同場景中測試系統(tǒng),包括離群值事件。如果在安全關(guān)鍵型場景中執(zhí)行 V&V,則可確;谌斯ぶ悄艿陌踩P(guān)鍵型系統(tǒng)能夠在各種情況下保持其性能水平。

      大多數(shù)開發(fā)人工智能增強產(chǎn)品的行業(yè),都要求工程師在產(chǎn)品上市前遵循相關(guān)標(biāo)準(zhǔn)。這些認(rèn)證過程可確保此類產(chǎn)品中融入特定元素。工程師可執(zhí)行 V&V 來測試這些元素的功能,這使得獲得認(rèn)證更容易。

      在汽車行業(yè)中,ISO/CD PAS 8800 是一項擬制標(biāo)準(zhǔn),旨在說明道路車輛的安全相關(guān)屬性和風(fēng)險因素。在航空航天和國防領(lǐng)域,認(rèn)證是強制性要求。機載系統(tǒng)和設(shè)備認(rèn)證中的軟件考慮因素(DO178C)等現(xiàn)行標(biāo)準(zhǔn)不一定能直接幫助應(yīng)對人工智能所帶來的獨特挑戰(zhàn)。因此,新的 ARP6983 過程標(biāo)準(zhǔn)正在制定中,旨在為開發(fā)和認(rèn)證實現(xiàn)人工智能的航空安全相關(guān)產(chǎn)品提供規(guī)范。

      Deep Learning Toolbox™ Verification Library 和 MATLAB® Test™ 可以幫助工程師開發(fā)有助于遵循行業(yè)標(biāo)準(zhǔn)的軟件,并簡化大型系統(tǒng)中人工智能模型的驗證和測試,從而使他們在航空和汽車領(lǐng)域的 V&V 方面保持領(lǐng)先地位。

      航空航天工程團隊使用基于模型的設(shè)計來管理和協(xié)調(diào)復(fù)雜的需求,自動生成代碼,并嚴(yán)格測試模型和系統(tǒng)。

      在執(zhí)行 V&V 時,工程師的目標(biāo)是確保人工智能組件既能滿足指定的要求,又能在各種工況下都表現(xiàn)出可靠性和安全性,因此可以隨時部署。與人工智能相關(guān)的 V&V 過程涉及執(zhí)行軟件保證活動,其中包括靜態(tài)和動態(tài)分析、測試、形式化方法和真實運營監(jiān)控的組合。

      各行各業(yè)的 V&V 過程可能略有不同,但 V&V 過程的主要步驟都包括:

      分析決策過程以解決黑盒問題;

      根據(jù)有代表性的數(shù)據(jù)集測試模型;

      執(zhí)行人工智能系統(tǒng)仿真;

      確保模型在可接受的范圍內(nèi)運行。

      下述 V&V 過程中的步驟是迭代步驟。隨著工程師收集新數(shù)據(jù)、獲得新深入信息和集成運行反饋,人工智能系統(tǒng)可以得到不斷完善和改進。

      分析決策過程以解決黑盒問題

      在使用人工智能模型為系統(tǒng)添加自動化功能時,工程師會面臨黑盒問題。理解基于人工智能的系統(tǒng)如何作出決策,對于提供透明度至關(guān)重要,因為這使工程師和科學(xué)家能夠?qū)δP皖A(yù)測建立信任并理解決策。

      特征重要性分析方法可以幫助工程師確定哪些輸入變量對模型預(yù)測的影響最大。這種分析方法的工作方式因模型(如基于樹的模型和線性模型)而異,但是,一般過程會為每個輸入變量賦予一個特征重要性分?jǐn)?shù)。重要性分?jǐn)?shù)越高,該特征對模型決策的影響就越大。對于汽車行業(yè)的安全關(guān)鍵型系統(tǒng),變量可能包括環(huán)境因素,如降水或其他車輛的存在和行為。

      可解釋性方法有助于深入了解模型行為。當(dāng)模型的黑盒性質(zhì)使我們無法使用其他方法時,這種方法尤其重要。以圖像為例,這些方法可用于識別圖像中對最終預(yù)測貢獻最大的區(qū)域。這樣,工程師便可理解模型在做出預(yù)測時的主要關(guān)注點。

      根據(jù)有代表性的數(shù)據(jù)集測試模型

      通常,工程師會評估人工智能模型在真實場景中的性能,以確保安全關(guān)鍵型系統(tǒng)能夠在這些場景中穩(wěn)健運行。他們的目標(biāo)是找出各種限制,以提高模型的準(zhǔn)確度和可靠性。工程師首先會收集大量有代表性的真實數(shù)據(jù)集,并通過清洗數(shù)據(jù)使其適用于測試。然后,他們會設(shè)計測試用例來評估模型的各個方面,例如準(zhǔn)確度和可再現(xiàn)性。最后,工程師會將模型應(yīng)用于數(shù)據(jù)集,記錄結(jié)果并將其與預(yù)期輸出進行比較。模型設(shè)計將根據(jù)數(shù)據(jù)測試的結(jié)果進行改進。

      執(zhí)行人工智能系統(tǒng)仿真

      憑借基于人工智能的系統(tǒng)仿真,工程師能夠在受控環(huán)境中評估和評價系統(tǒng)的性能。在仿真期間,工程師會創(chuàng)建一個虛擬環(huán)境,以在各種條件下對真實系統(tǒng)進行模擬。首先,他們會定義仿真系統(tǒng)所需的輸入和參數(shù),例如初始條件和環(huán)境因素。然后,他們使用 Simulink® 等軟件執(zhí)行仿真,該軟件會輸出系統(tǒng)對建議場景的響應(yīng)。與數(shù)據(jù)測試一樣,仿真結(jié)果會與預(yù)期或已知結(jié)果進行比較,以便于模型得到逐步改進。

      為了讓人工智能模型安全可靠地運行,必須建立界限并監(jiān)控模型的行為,以確保該模型在這些邊界內(nèi)運行。如果模型已基于有限的數(shù)據(jù)集訓(xùn)練,并在運行時遇到前所未見的數(shù)據(jù),則會出現(xiàn)最常見的邊界問題之一。同樣,模型可能不夠穩(wěn)健,有可能導(dǎo)致不可預(yù)測的行為。

      工程師采用緩解數(shù)據(jù)偏向和增強數(shù)據(jù)的方法,以確保人工智能模型在可接受的范圍內(nèi)運行。

      緩解數(shù)據(jù)偏向的一種方法是,讓用于訓(xùn)練人工智能模型的數(shù)據(jù)具有多變性,這有助于減少模型對限制其學(xué)習(xí)的重復(fù)模式的依賴。借助數(shù)據(jù)增強方法,可確保代表不同類別和人群的數(shù)據(jù)都能得到公平和平等的處理。在自動駕駛汽車場景中,數(shù)據(jù)增強可能涉及使用不同角度的行人照片來幫助模型檢測行人,而不管這些行人的位姿如何。數(shù)據(jù)平衡方法通常與數(shù)據(jù)增強結(jié)合使用,包含來自每個數(shù)據(jù)類的相似樣本。以行人為例,平衡數(shù)據(jù)意味著,針對每種不同的行人場景,如不同體型、服裝樣式、光照條件和背景,數(shù)據(jù)集都必須包含與之對應(yīng)數(shù)量的圖像。這種方法可以最大限度地減少偏向,并提高模型在各種現(xiàn)實情況下的泛化能力。

      在安全關(guān)鍵型場景中部署神經(jīng)網(wǎng)絡(luò)時,穩(wěn)健性是首要考慮因素。細(xì)微而難以察覺的變化會帶來重大風(fēng)險,使神經(jīng)網(wǎng)絡(luò)產(chǎn)生誤分類。這些干擾可能會導(dǎo)致神經(jīng)網(wǎng)絡(luò)輸出不正確或危險的結(jié)果。在錯誤可能導(dǎo)致災(zāi)難的系統(tǒng)中,這種情況尤其令人擔(dān)憂。一種解決方案是,將形式化方法納入開發(fā)和驗證過程中。形式化方法就是使用嚴(yán)格的數(shù)學(xué)模型來確立和證明神經(jīng)網(wǎng)絡(luò)的正確性屬性。通過應(yīng)用這些方法,工程師可以提高網(wǎng)絡(luò)對某些類型干擾的抵御能力,從而確保安全關(guān)鍵型應(yīng)用具有更高的穩(wěn)健性和可靠性。

      W 形開發(fā)過程是一種非線性 V&V 工作流,旨在確保人工智能模型的準(zhǔn)確度和可靠性。

      結(jié)束語

      在基于人工智能的安全關(guān)鍵型系統(tǒng)時代,V&V 過程對于獲得行業(yè)認(rèn)證和遵循法律要求將變得至關(guān)重要。若要構(gòu)建和維護值得信賴的系統(tǒng),工程師需要采用驗證方法,為運行這些系統(tǒng)的人工智能模型提供可解釋性和透明度。隨著工程師利用人工智能來幫助執(zhí)行 V&V 過程,他們必須探索各種測試方法來應(yīng)對人工智能技術(shù)所帶來的日益復(fù)雜的挑戰(zhàn)。在安全關(guān)鍵型系統(tǒng)中,這些工作可確保人工智能以負(fù)責(zé)且透明的方式得到使用。

      #FormatStrongID_4#:MathWorks 深度學(xué)習(xí)首席產(chǎn)品經(jīng)理 Lucas Garcia 博士

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。