MLCommons推出新平臺評估AI醫(yī)療模型

　　近年來，醫(yī)療行業(yè)積極擁抱人工智能，尤其在疫情的推動下。根據(jù) Optum 的一項調(diào)查顯示，80% 的醫(yī)療機構已經(jīng)制定了人工智能戰(zhàn)略，另有15% 計劃啟動相關項目。為滿足需求，包括大型科技公司在內(nèi)的供應商紛紛推出相關產(chǎn)品。

　　谷歌最近發(fā)布了 Med-PaLM2，這是一個用于回答醫(yī)學問題和在醫(yī)學文本中發(fā)現(xiàn)洞見的人工智能模型。此外，像 Hippocratic 和 OpenEvidence 等初創(chuàng)公司正在開發(fā)模型，為臨床醫(yī)生提供可操作的建議。

　　然而，隨著越來越多針對醫(yī)學應用的模型上市，了解哪些模型是否能夠如廣告所述地發(fā)揮作用變得越來越具有挑戰(zhàn)性。由于醫(yī)學模型往往是使用來自有限、狹窄的臨床環(huán)境數(shù)據(jù)進行訓練(例如東海岸的醫(yī)院)，一些模型對特定患者群體，通常是少數(shù)族裔群體，顯示出偏見，導致在現(xiàn)實世界中產(chǎn)生有害影響。

　　為了建立一個可靠、可信賴的方法來評估和評價醫(yī)療模型，工程協(xié)會 MLCommons 開發(fā)了一個名為 MedPerf 的新型測試平臺。MLCommons 表示，MedPerf 可以在 “多樣化的真實醫(yī)療數(shù)據(jù)” 上評估人工智能模型，并保護患者隱私。

　　MedPerf 是由醫(yī)療工作組牽頭進行的為期兩年的合作成果，得到了行業(yè)和學術界的反饋，其中包括20多家公司和20多家學術機構的意見。與 MLCommons 的通用人工智能基準套件(如 MLPerf)不同，MedPerf 設計用于醫(yī)療模型的操作人員和客戶，即醫(yī)療機構，而不是供應商。

　　通過 “聯(lián)邦評估”，MedPerf 平臺上的醫(yī)院和診所可以根據(jù)需要評估人工智能模型，并在現(xiàn)場進行評估。

　　MedPerf 支持流行的機器學習庫，以及僅通過 API 提供的私有模型和模型，例如 Epic 和 Microsoft 的 Azure OpenAI Services。

　　今年早些時候，MedPerf 在一個系統(tǒng)測試中舉辦了由 NIH 資助的 Federated Tumor Segmentation (FeTS) Challenge，這是一個評估膠質(zhì)母細胞瘤(一種侵襲性腦)術后治療模型的大規(guī)模比較。MedPerf 今年支持了41個不同的模型的測試，這些模型在32個來自六個大洲的醫(yī)療機構的系統(tǒng)上運行，既有本地部署也有云端部署。

　　根據(jù) MLCommons 的說法，所有模型在與訓練數(shù)據(jù)的患者人口學特征不同的醫(yī)療機構中表現(xiàn)出了降低的性能，揭示了其中存在的偏見。

　　MLCommons 認為，MedPerf 目前主要用于評估放射學掃描分析模型，是實現(xiàn)其通過 “開放、中立和科學方法” 加速醫(yī)療人工智能的 “基礎步驟”。它呼吁人工智能研究人員使用該平臺驗證自己的模型，并鼓勵數(shù)據(jù)所有者注冊其患者數(shù)據(jù)，以增加 MedPerf 測試的可靠性。

　　然而，這個平臺是否真正解決了醫(yī)療人工智能領域中棘手的問題仍然值得商榷。杜克大學研究人員最近編寫的一份報告揭示了人工智能營銷和將技術應用于醫(yī)生、護士及其周圍復雜的醫(yī)療系統(tǒng)和技術系統(tǒng)的日常工作之間的巨大差距。往往情況并不僅僅是模型的問題，而是如何將技術融入到醫(yī)療工作中，包括設備的部署、互聯(lián)網(wǎng)連接強度以及患者對人工智能輔助評估的反應。

　　醫(yī)療從業(yè)者對醫(yī)療人工智能持有復雜的觀點。雅虎金融的一項調(diào)查發(fā)現(xiàn)，55% 的醫(yī)護人員認為這項技術還不準備好使用，只有26% 的人認為可以信任。

　　這并不意味著醫(yī)學模型偏見不是一個真正的問題，它確實存在并產(chǎn)生后果。例如，Epic 的系統(tǒng)用于識別敗血癥病例，但發(fā)現(xiàn)錯過了許多病例，并經(jīng)常發(fā)出誤報。同時，對于不是谷歌或微軟這樣規(guī)模的組織來說，獲得多樣化、及時的醫(yī)療數(shù)據(jù)并非易事。

　　然而，將人們的健康問題過分依賴像 MedPerf 這樣的平臺是不明智的。畢竟，基準測試只能告訴我們故事的一部分。安全地部署醫(yī)療模型需要供應商及其客戶進行持續(xù)、徹底的審計，更不用說研究人員了。缺乏此類測試是不負責任的行為。