国内精品久久久久久99,japan丰满人妻hdxxxx,人妻丝袜av中文系列先锋影音,成人丝袜激情一区二区,国产卡1卡2卡3,亚洲欧美日韩一区在线观看,亚洲高清一区二区三区电影,丰满岳乱妇
聚慕 - 專業醫療器械服務商
設為首頁 收藏本頁 人事招聘 關于聚慕
400-901-5099
全部商品分類
臨床ai陷入“模型吞噬模型的世界”,大模型預測能力并不靠譜?
發布時間:2023-10-13 09:45:46

越來越多的AI工具被用于從敗血癥到中風等等一切疾病的預測,希望能夠及早提供護理,挽救生命。

但隨著時間的推移,有新的研究表明,這些預測模型很可能伴隨著其本身的成功而墮入深淵——由于預測成功,導致其表現急劇下降,并產生不準確的、潛在有害的結果。

這項新研究于近日發表在《內科年鑒》上。西奈山伊坎醫學院數據驅動和數字醫學講師、這項新研究的作者Akhil Vaid說:“在測試模型時,沒有辦法解釋這一點。你不能進行驗證研究,不能進行外部驗證,不能進行臨床試驗,因為他們只會告訴你這個模型是有效的。一旦它開始工作,問題就會出現。”

Vaid 和他在西奈山的同事模擬了兩種模型的部署,預測患者在進入 ICU 后五天內死亡和急性腎損傷的風險。

他們的模擬中,假設這些模型做到了他們預期應該做的事情,即通過識別患者進行早期干預來降低死亡和腎損傷。

但是,當患者開始好轉時,這些模型在預測腎衰竭和死亡率的可能性方面就變得不那么準確了。即便重新訓練模型,或是用其他方法來阻止預測能力的衰退,都無濟于事。

很少有醫療衛生系統會隨著時間的推移去跟蹤AI模型的性能,上述新研究成為了一個警示,并且提出了問題——AI預測模型潛在的性能下降對患者意味著什么,特別是在部署了多個AI系統的環境中,這些系統可能會影響患者的治療效果,并且隨著時間的推移,它們彼此之間的性能表現也會互相影響。

去年,美國醫療媒體STAT和麻省理工學院的一項調查,通過測試三種預測算法的性能,捕捉到了模型性能如何隨著時間的推移而下降。在過去的十年中,預測敗血癥、住院時間和死亡率的準確性確實存在明顯差異。導致這一問題的罪魁禍首是臨床變化的組合、醫院使用新的醫學編碼標準、以及來自新社區的患者大量涌入。

模型出現這樣的故障是由于“數據漂移”造成的。約翰·霍普金斯大學醫學院傳染病與健康信息學研究員Matthew Robinson,也是西奈山研究的作者之一,他表示:“關于輸入數據如何隨著時間的推移而變化,并產生令人意想不到的輸出,人們進行了很多討論。”

這項新的研究發現了一個反常的問題,隨著時間的推移,預測模型的性能可能會下降。成功的預測模型卻創建了這樣一個反饋循環:隨著AI幫助推動干預措施以保持患者的健康,那么系統內的電子健康記錄可能就會開始反映較低的腎損傷率或死亡率,然后隨著時間的推移這些數據被用于重新訓練模型。

Vaid:“只要你的數據受到了模型輸出的污染或破壞,那么你就會遇到問題。”

研究人員基于當今的AI醫療衛生系統,展示了該問題在三種情況下是如何出現的。

首先,他們自己部署了死亡率預測模型,并根據新的患者數據對其進行了重新訓練——這是避免數據漂移的常見策略。然后,與直覺相反,他們發現,利用模型幫助過的患者數據重新訓練出的模型,可能會低估死亡風險,并且模型的特異性驟降至 39%。Vaid說:“這太大了,意味著一旦你重新訓練你的模型,它實際上就沒用了。”

在另外兩種情況下,急性腎損傷預測因子和死亡率預測因子一起使用。當腎臟模型的預測幫助患者避免急性腎損傷時,它也降低了死亡率——因此當后來再使用這些數據創建死亡率預測因子時,其特異性就受到了影響。當兩個模型同時部署時,每個模型各自所驅動的醫療保健變化都會使其他模型的預測失效。

Vaid 表示,他與聲稱已同時部署 15 或 20 個模型的衛生系統進行了交談。他表示,這會導致一些可怕的錯誤,衛生系統使用預測模型的時間越長,而不考慮性能下降的反饋循環,它們的可靠性就越低,這就像一顆定時炸彈。

范德比爾特大學醫學中心生物醫學信息學教授 Sharon Davis 表示:“我們早就意識到,影響患者預后和 EHR 數據下游反饋的成功實施,需要新的方法來更新模型。” “AI工具按順序或者同時部署的交互效果,對于需要創新解決方案的模型管理者來說,這是另一個復雜的問題。”

資深作者、西奈山數據驅動和數字醫學部門的系統主管Girish Nadkarni表示,雖然許多衛生系統都在思考如何管理數據漂移等問題,但還沒有人想過如何管理這么多模型同時運行的性能,并且連續幾代的患者數據都受到影響,在沒有適當監控、適當測試、適當驗證系統的情況下引入了一堆模型,所有這些模型都在相互作用,并且影響臨床醫生和患者。

加州大學伯克利分校和加州大學舊金山分校計算精準健康助理教授Adam Yala稱,這項研究引起了臨床界的注意。“這是一個被嚴重低估的問題,我們目前的最佳實踐、模型監控、監管實踐,以及我們構建的工具,都沒有解決這個問題。”

作者承認,真實世界的性能下降可能與他們的模擬有所不同,上述模擬是基于西奈山和貝斯以色列女執事醫療中心的130000名ICU住院患者進行的。他們必須猜測衛生系統內的模型依從性是什么樣的,以及臨床干預措施在減少腎臟損傷和死亡方面的效果如何。

Yala說:“一定是存在局限性的,因為干預措施是模擬的,但這不是重點,重點是表明存在這樣一個真實的現象,我們所做的任何事情目前都無法解決解決這個問題。”

為了在模型的性能開始受到影響時捕捉到它們,衛生系統必須主動跟蹤各類指標,但許多系統并沒有這樣做。Robinson說:“機構可能會為了資金或噱頭來創建、部署模型,但是后續觀察這些模型隨著隨著時間的推移性能表現如何,這類工作卻沒有那么令人興奮。”

西奈山的研究表明,即使監測發現模型的性能下降,也很難糾正這種數據污染,因為再次訓練并不能恢復模型的性能。當衛生系統訓練新模型或重新訓練舊模型時,他們需要確保使用的患者數據沒有被先前AI工具的實施所破壞,這意味著他們必須更加嚴格地跟蹤醫生何時以及如何使用AI預測來做出臨床決策。

Robinson和他的論文合著者認為,采用新的變量來重新訓練模型可能會有所幫助。Vaid則表示,需要制定相關的法規對此進行監管。

今年3月,FDA發布了指導草案,試圖解決臨床AI性能隨著時間的推移而下降的現實,為開發者提供了一個以預定方式更新模型的框架,而不需要機構對每次更改進行審查。但新的研究表明,“變更控制計劃”中的步驟,包括模型再訓練,仍然不應該隨意地實施。

Nadkarni說:“還需要深入考慮。FDA的計劃目前包括再培訓、評估和更新,但在不考慮預測性能、干預效果和依從性的情況下大規模實施這些計劃實際上可能會使問題變得更糟。”

隨著許多衛生系統繼續推遲對現有人工智能模型的評估,Robinson指出,這些問題擴展到由大型語言模型支持的下一代臨床工具。隨著時間的推移,接受AI生成輸出訓練的大模型的表現越來越差。“隨著放射學報告、病理學報告甚至臨床記錄越來越多地由大模型構建,未來的迭代將接受這些數據的訓練,而且可能會產生意想不到的后果。

Vaid 說得更簡單——我們生活在一個模型吞噬模型的世界。

注:文章來源于網絡,如有侵權,請聯系刪除

為您找貨 · 告訴我們您想要找什么商品?我們將盡快給您答復。
* 商品名稱:
* 您想了解:
  • 商品資料
  • 貨期
  • 價格
  • 安調
  • 其他
* 手機號碼:
* 姓名:
主站蜘蛛池模板: 国产精品人成在线播放新网站| gogogo免费高清在线| 免费视频成人片在线观看| gogogo高清在线播放韩国| 天美传媒xxxxhd videos3| 啦啦啦中文高清在线观看7| 韩国三级bd高清中字办公室| 黑人玩弄人妻中文在线| 亚洲熟妇丰满xxxxx小品| 欧美精产国品一二三产品特点| 黄网站在线永久免费观看| 五月丁香综合激情六月久久| 中文字幕亚洲一区二区三区| 无码丰满少妇2在线观看| 肉色超薄丝袜脚交一区二区| 韩国三级中文字幕hd| 在线无码中文字幕一区| 诱人的岳hd中文字幕| 亚洲精品一区久久久久一品av| 无码精油按摩潮喷在播放| 夜夜添无码一区二区三区| 欧洲freexxxx性少妇播放| 国产亚洲精品久久yy50| 国产性色av免费观看| 亚洲中文精品久久久久久不卡| 亚洲人成精品久久久久| 欧美阿v高清资源在线| 久久精品无码一区二区三区免费| 成人动漫综合网| 无码精品国产va在线观看dvd| 瑜伽裤国产一区二区三区 | 三上悠亚久久精品| 老鸭窝| 一个人看的www视频在线观看| 欧美孕妇excels交| 免费人成视频年轻人在线无毒不卡| 精品人妻一区二区三区丽| 欧美群妇大交群| 一二三四视频社区| 韩日午夜在线资源一区二区| 国外精产品w灬源码|