越來越多的ＡＩ工具被用于從敗血癥到中風等等一切疾病的預測，希望能夠及早提供護理，挽救生命。

但隨著時間的推移，有新的研究表明，這些預測模型很可能伴隨著其本身的成功而墮入深淵——由于預測成功，導致其表現急劇下降，并產生不準確的、潛在有害的結果。

這項新研究于近日發表在《內科年鑒》上。西奈山伊坎醫學院數據驅動和數字醫學講師、這項新研究的作者Ａｋｈｉｌ　Ｖａｉｄ說：“在測試模型時，沒有辦法解釋這一點。你不能進行驗證研究，不能進行外部驗證，不能進行臨床試驗，因為他們只會告訴你這個模型是有效的。一旦它開始工作，問題就會出現。”

Ｖａｉｄ　和他在西奈山的同事模擬了兩種模型的部署，預測患者在進入　ＩＣＵ　后五天內死亡和急性腎損傷的風險。

他們的模擬中，假設這些模型做到了他們預期應該做的事情，即通過識別患者進行早期干預來降低死亡和腎損傷。

但是，當患者開始好轉時，這些模型在預測腎衰竭和死亡率的可能性方面就變得不那么準確了。即便重新訓練模型，或是用其他方法來阻止預測能力的衰退，都無濟于事。

很少有醫療衛生系統會隨著時間的推移去跟蹤ＡＩ模型的性能，上述新研究成為了一個警示，并且提出了問題——ＡＩ預測模型潛在的性能下降對患者意味著什么，特別是在部署了多個ＡＩ系統的環境中，這些系統可能會影響患者的治療效果，并且隨著時間的推移，它們彼此之間的性能表現也會互相影響。

去年，美國醫療媒體ＳＴＡＴ和麻省理工學院的一項調查，通過測試三種預測算法的性能，捕捉到了模型性能如何隨著時間的推移而下降。在過去的十年中，預測敗血癥、住院時間和死亡率的準確性確實存在明顯差異。導致這一問題的罪魁禍首是臨床變化的組合、醫院使用新的醫學編碼標準、以及來自新社區的患者大量涌入。

模型出現這樣的故障是由于“數據漂移”造成的。約翰·霍普金斯大學醫學院傳染病與健康信息學研究員Ｍａｔｔｈｅｗ　Ｒｏｂｉｎｓｏｎ，也是西奈山研究的作者之一，他表示：“關于輸入數據如何隨著時間的推移而變化，并產生令人意想不到的輸出，人們進行了很多討論。”

這項新的研究發現了一個反常的問題，隨著時間的推移，預測模型的性能可能會下降。成功的預測模型卻創建了這樣一個反饋循環：隨著ＡＩ幫助推動干預措施以保持患者的健康，那么系統內的電子健康記錄可能就會開始反映較低的腎損傷率或死亡率，然后隨著時間的推移這些數據被用于重新訓練模型。

Ｖａｉｄ：“只要你的數據受到了模型輸出的污染或破壞，那么你就會遇到問題。”

研究人員基于當今的ＡＩ醫療衛生系統，展示了該問題在三種情況下是如何出現的。

首先，他們自己部署了死亡率預測模型，并根據新的患者數據對其進行了重新訓練——這是避免數據漂移的常見策略。然后，與直覺相反，他們發現，利用模型幫助過的患者數據重新訓練出的模型，可能會低估死亡風險，并且模型的特異性驟降至　３９％。Ｖａｉｄ說：“這太大了，意味著一旦你重新訓練你的模型，它實際上就沒用了。”

在另外兩種情況下，急性腎損傷預測因子和死亡率預測因子一起使用。當腎臟模型的預測幫助患者避免急性腎損傷時，它也降低了死亡率——因此當后來再使用這些數據創建死亡率預測因子時，其特異性就受到了影響。當兩個模型同時部署時，每個模型各自所驅動的醫療保健變化都會使其他模型的預測失效。

Ｖａｉｄ　表示，他與聲稱已同時部署　１５　或　２０　個模型的衛生系統進行了交談。他表示，這會導致一些可怕的錯誤，衛生系統使用預測模型的時間越長，而不考慮性能下降的反饋循環，它們的可靠性就越低，這就像一顆定時炸彈。

范德比爾特大學醫學中心生物醫學信息學教授　Ｓｈａｒｏｎ　Ｄａｖｉｓ　表示：“我們早就意識到，影響患者預后和　ＥＨＲ　數據下游反饋的成功實施，需要新的方法來更新模型。”　“ＡＩ工具按順序或者同時部署的交互效果，對于需要創新解決方案的模型管理者來說，這是另一個復雜的問題。”

資深作者、西奈山數據驅動和數字醫學部門的系統主管Ｇｉｒｉｓｈ　Ｎａｄｋａｒｎｉ表示，雖然許多衛生系統都在思考如何管理數據漂移等問題，但還沒有人想過如何管理這么多模型同時運行的性能，并且連續幾代的患者數據都受到影響，在沒有適當監控、適當測試、適當驗證系統的情況下引入了一堆模型，所有這些模型都在相互作用，并且影響臨床醫生和患者。

加州大學伯克利分校和加州大學舊金山分校計算精準健康助理教授Ａｄａｍ　Ｙａｌａ稱，這項研究引起了臨床界的注意。“這是一個被嚴重低估的問題，我們目前的最佳實踐、模型監控、監管實踐，以及我們構建的工具，都沒有解決這個問題。”

作者承認，真實世界的性能下降可能與他們的模擬有所不同，上述模擬是基于西奈山和貝斯以色列女執事醫療中心的１３００００名ＩＣＵ住院患者進行的。他們必須猜測衛生系統內的模型依從性是什么樣的，以及臨床干預措施在減少腎臟損傷和死亡方面的效果如何。

Ｙａｌａ說：“一定是存在局限性的，因為干預措施是模擬的，但這不是重點，重點是表明存在這樣一個真實的現象，我們所做的任何事情目前都無法解決解決這個問題。”

為了在模型的性能開始受到影響時捕捉到它們，衛生系統必須主動跟蹤各類指標，但許多系統并沒有這樣做。Ｒｏｂｉｎｓｏｎ說：“機構可能會為了資金或噱頭來創建、部署模型，但是后續觀察這些模型隨著隨著時間的推移性能表現如何，這類工作卻沒有那么令人興奮。”

西奈山的研究表明，即使監測發現模型的性能下降，也很難糾正這種數據污染，因為再次訓練并不能恢復模型的性能。當衛生系統訓練新模型或重新訓練舊模型時，他們需要確保使用的患者數據沒有被先前ＡＩ工具的實施所破壞，這意味著他們必須更加嚴格地跟蹤醫生何時以及如何使用ＡＩ預測來做出臨床決策。

Ｒｏｂｉｎｓｏｎ和他的論文合著者認為，采用新的變量來重新訓練模型可能會有所幫助。Ｖａｉｄ則表示，需要制定相關的法規對此進行監管。

今年３月，ＦＤＡ發布了指導草案，試圖解決臨床ＡＩ性能隨著時間的推移而下降的現實，為開發者提供了一個以預定方式更新模型的框架，而不需要機構對每次更改進行審查。但新的研究表明，“變更控制計劃”中的步驟，包括模型再訓練，仍然不應該隨意地實施。

Ｎａｄｋａｒｎｉ說：“還需要深入考慮。ＦＤＡ的計劃目前包括再培訓、評估和更新，但在不考慮預測性能、干預效果和依從性的情況下大規模實施這些計劃實際上可能會使問題變得更糟。”

隨著許多衛生系統繼續推遲對現有人工智能模型的評估，Ｒｏｂｉｎｓｏｎ指出，這些問題擴展到由大型語言模型支持的下一代臨床工具。隨著時間的推移，接受ＡＩ生成輸出訓練的大模型的表現越來越差。“隨著放射學報告、病理學報告甚至臨床記錄越來越多地由大模型構建，未來的迭代將接受這些數據的訓練，而且可能會產生意想不到的后果。

Ｖａｉｄ　說得更簡單——我們生活在一個模型吞噬模型的世界。

注：文章來源于網絡，如有侵權，請聯系刪除