在人工智能技術(shù)迅速滲透醫(yī)療領(lǐng)域的背景下，如何準(zhǔn)確評估AI模型在真實(shí)醫(yī)療場景中的表現(xiàn)成為業(yè)內(nèi)關(guān)注的焦點(diǎn)。斯坦福大學(xué)近日推出了一款全新的評估工具，旨在為醫(yī)療AI模型提供更貼近實(shí)際需求的測試方法。這一工具被稱為MedHelm，其設(shè)計(jì)目標(biāo)是幫助醫(yī)療系統(tǒng)和決策者更好地選擇和部署AI技術(shù)，確保其在真實(shí)環(huán)境中發(fā)揮作用。
醫(yī)療AI的“現(xiàn)實(shí)考驗(yàn)”
斯坦福的這一工具類似于汽車購買時的全面評測，專注于AI模型在實(shí)際醫(yī)療任務(wù)中的表現(xiàn)，而非僅僅依賴學(xué)術(shù)測試或理論數(shù)據(jù)。哈佛醫(yī)學(xué)院生物醫(yī)學(xué)信息學(xué)系主任Isaac Kohane教授回憶起自己作為住院醫(yī)生時的一段經(jīng)歷：在重癥監(jiān)護(hù)室中，他曾為一名低血糖患兒列出詳盡的可能病因清單，但最終發(fā)現(xiàn)問題出在輸液操作的中斷上。“我的導(dǎo)師當(dāng)時提醒我，要關(guān)注現(xiàn)實(shí)世界的運(yùn)作方式，而不是僅僅依賴書本知識，”Kohane說。他認(rèn)為，當(dāng)前許多AI模型也面臨類似問題——它們在理論考試中表現(xiàn)優(yōu)異，但在實(shí)際醫(yī)療場景中卻可能失靈。
AI模型的局限性
研究人員發(fā)現(xiàn)，盡管一些AI語言模型（如GPT-4）能夠通過美國醫(yī)學(xué)執(zhí)照考試等知識性測試，但它們在回答醫(yī)生指令或查詢時仍存在顯著錯誤。例如，在一次測試中，GPT-4的錯誤率高達(dá)35%，遠(yuǎn)高于人類醫(yī)生的表現(xiàn)。這也引發(fā)了業(yè)內(nèi)對AI技術(shù)過度依賴的擔(dān)憂。
MedHelm工具的推出正是為了解決這一問題。它通過模擬真實(shí)醫(yī)療場景，對AI模型的表現(xiàn)進(jìn)行全面評估，從而為醫(yī)療機(jī)構(gòu)提供更具參考價值的數(shù)據(jù)支持。
推動醫(yī)療AI的規(guī)范化應(yīng)用
斯坦福的研究團(tuán)隊(duì)表示，MedHelm的目標(biāo)不僅是評估AI模型的準(zhǔn)確性，還包括其在不同醫(yī)療場景中的適用性。例如，該工具會測試AI模型在緊急情況下的反應(yīng)速度、對患者歷史數(shù)據(jù)的處理能力，以及在復(fù)雜決策中的可靠性。這些指標(biāo)將為醫(yī)療系統(tǒng)選擇AI技術(shù)提供重要依據(jù)。
Kohane教授強(qiáng)調(diào)：“醫(yī)療行業(yè)需要的不僅是聰明的AI模型，更是能夠理解并適應(yīng)現(xiàn)實(shí)世界復(fù)雜性的解決方案。MedHelm為我們提供了一個全新的視角，幫助我們更好地評估和利用這些技術(shù)?！?/span>
隨著AI技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用日益廣泛，其潛力和局限性也愈發(fā)顯現(xiàn)。MedHelm的推出為行業(yè)提供了一種新的評估方法，有望推動AI技術(shù)在醫(yī)療中的規(guī)范化應(yīng)用。然而，如何平衡技術(shù)創(chuàng)新與實(shí)際需求之間的關(guān)系，仍是行業(yè)需要面對的重要挑戰(zhàn)。
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時并不代表贊成其觀點(diǎn)或證實(shí)其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請聯(lián)系我們刪除。
凡來源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
智慧醫(yī)療網(wǎng) ? 2022 版權(quán)所有 ICP備案號：滬ICP備17004559號-5
