MLCommons推出新平臺(tái)評(píng)估AI醫(yī)療模型

　　近年來，醫(yī)療行業(yè)積極擁抱人工智能，尤其在疫情的推動(dòng)下。根據(jù) Optum 的一項(xiàng)調(diào)查顯示，80% 的醫(yī)療機(jī)構(gòu)已經(jīng)制定了人工智能戰(zhàn)略，另有15% 計(jì)劃啟動(dòng)相關(guān)項(xiàng)目。為滿足需求，包括大型科技公司在內(nèi)的供應(yīng)商紛紛推出相關(guān)產(chǎn)品。

　　谷歌最近發(fā)布了 Med-PaLM2，這是一個(gè)用于回答醫(yī)學(xué)問題和在醫(yī)學(xué)文本中發(fā)現(xiàn)洞見的人工智能模型。此外，像 Hippocratic 和 OpenEvidence 等初創(chuàng)公司正在開發(fā)模型，為臨床醫(yī)生提供可操作的建議。

　　然而，隨著越來越多針對(duì)醫(yī)學(xué)應(yīng)用的模型上市，了解哪些模型是否能夠如廣告所述地發(fā)揮作用變得越來越具有挑戰(zhàn)性。由于醫(yī)學(xué)模型往往是使用來自有限、狹窄的臨床環(huán)境數(shù)據(jù)進(jìn)行訓(xùn)練(例如東海岸的醫(yī)院)，一些模型對(duì)特定患者群體，通常是少數(shù)族裔群體，顯示出偏見，導(dǎo)致在現(xiàn)實(shí)世界中產(chǎn)生有害影響。

　　為了建立一個(gè)可靠、可信賴的方法來評(píng)估和評(píng)價(jià)醫(yī)療模型，工程協(xié)會(huì) MLCommons 開發(fā)了一個(gè)名為 MedPerf 的新型測(cè)試平臺(tái)。MLCommons 表示，MedPerf 可以在 “多樣化的真實(shí)醫(yī)療數(shù)據(jù)” 上評(píng)估人工智能模型，并保護(hù)患者隱私。

　　MedPerf 是由醫(yī)療工作組牽頭進(jìn)行的為期兩年的合作成果，得到了行業(yè)和學(xué)術(shù)界的反饋，其中包括20多家公司和20多家學(xué)術(shù)機(jī)構(gòu)的意見。與 MLCommons 的通用人工智能基準(zhǔn)套件(如 MLPerf)不同，MedPerf 設(shè)計(jì)用于醫(yī)療模型的操作人員和客戶，即醫(yī)療機(jī)構(gòu)，而不是供應(yīng)商。

　　通過 “聯(lián)邦評(píng)估”，MedPerf 平臺(tái)上的醫(yī)院和診所可以根據(jù)需要評(píng)估人工智能模型，并在現(xiàn)場(chǎng)進(jìn)行評(píng)估。

　　MedPerf 支持流行的機(jī)器學(xué)習(xí)庫，以及僅通過 API 提供的私有模型和模型，例如 Epic 和 Microsoft 的 Azure OpenAI Services。

　　今年早些時(shí)候，MedPerf 在一個(gè)系統(tǒng)測(cè)試中舉辦了由 NIH 資助的 Federated Tumor Segmentation (FeTS) Challenge，這是一個(gè)評(píng)估膠質(zhì)母細(xì)胞瘤(一種侵襲性腦)術(shù)后治療模型的大規(guī)模比較。MedPerf 今年支持了41個(gè)不同的模型的測(cè)試，這些模型在32個(gè)來自六個(gè)大洲的醫(yī)療機(jī)構(gòu)的系統(tǒng)上運(yùn)行，既有本地部署也有云端部署。

　　根據(jù) MLCommons 的說法，所有模型在與訓(xùn)練數(shù)據(jù)的患者人口學(xué)特征不同的醫(yī)療機(jī)構(gòu)中表現(xiàn)出了降低的性能，揭示了其中存在的偏見。

　　MLCommons 認(rèn)為，MedPerf 目前主要用于評(píng)估放射學(xué)掃描分析模型，是實(shí)現(xiàn)其通過 “開放、中立和科學(xué)方法” 加速醫(yī)療人工智能的 “基礎(chǔ)步驟”。它呼吁人工智能研究人員使用該平臺(tái)驗(yàn)證自己的模型，并鼓勵(lì)數(shù)據(jù)所有者注冊(cè)其患者數(shù)據(jù)，以增加 MedPerf 測(cè)試的可靠性。

　　然而，這個(gè)平臺(tái)是否真正解決了醫(yī)療人工智能領(lǐng)域中棘手的問題仍然值得商榷。杜克大學(xué)研究人員最近編寫的一份報(bào)告揭示了人工智能營銷和將技術(shù)應(yīng)用于醫(yī)生、護(hù)士及其周圍復(fù)雜的醫(yī)療系統(tǒng)和技術(shù)系統(tǒng)的日常工作之間的巨大差距。往往情況并不僅僅是模型的問題，而是如何將技術(shù)融入到醫(yī)療工作中，包括設(shè)備的部署、互聯(lián)網(wǎng)連接強(qiáng)度以及患者對(duì)人工智能輔助評(píng)估的反應(yīng)。

　　醫(yī)療從業(yè)者對(duì)醫(yī)療人工智能持有復(fù)雜的觀點(diǎn)。雅虎金融的一項(xiàng)調(diào)查發(fā)現(xiàn)，55% 的醫(yī)護(hù)人員認(rèn)為這項(xiàng)技術(shù)還不準(zhǔn)備好使用，只有26% 的人認(rèn)為可以信任。

　　這并不意味著醫(yī)學(xué)模型偏見不是一個(gè)真正的問題，它確實(shí)存在并產(chǎn)生后果。例如，Epic 的系統(tǒng)用于識(shí)別敗血癥病例，但發(fā)現(xiàn)錯(cuò)過了許多病例，并經(jīng)常發(fā)出誤報(bào)。同時(shí)，對(duì)于不是谷歌或微軟這樣規(guī)模的組織來說，獲得多樣化、及時(shí)的醫(yī)療數(shù)據(jù)并非易事。

　　然而，將人們的健康問題過分依賴像 MedPerf 這樣的平臺(tái)是不明智的。畢竟，基準(zhǔn)測(cè)試只能告訴我們故事的一部分。安全地部署醫(yī)療模型需要供應(yīng)商及其客戶進(jìn)行持續(xù)、徹底的審計(jì)，更不用說研究人員了。缺乏此類測(cè)試是不負(fù)責(zé)任的行為。