摘要
模擬病人系統(tǒng)在現(xiàn)代醫(yī)學教育和研究中發(fā)揮著重要作用，提供了安全的、綜合性的醫(yī)學培訓環(huán)境，并支持臨床決策模擬。人工智能（AI）技術，如大型語言模型（LLM），可以通過高保真度且低成本的方式復制醫(yī)療狀況和醫(yī)患互動，從而提升模擬病人系統(tǒng)。然而，確保這些系統(tǒng)的有效性和可信度仍然是一個挑戰(zhàn)，因為它們需要一個龐大、多樣且精確的病人知識庫，以及向用戶提供穩(wěn)健和穩(wěn)定的知識傳播。在這里，我們開發(fā)了AI病人，一個由基于大型語言模型的AI代理驅動的智能模擬病人系統(tǒng)。該系統(tǒng)采用了檢索增強生成（RAG）框架，由六個特定任務的大型語言模型AI代理提供復雜推理能力。為了模擬現(xiàn)實情況，該系統(tǒng)還由AI病人知識圖譜（Knowledge Graph）驅動，該知識圖譜使用來自重癥監(jiān)護醫(yī)學信息數(shù)據(jù)庫（MIMIC）-III的去識別真實病人數(shù)據(jù)構建。主要成果展示了系統(tǒng)的智能性，包括系統(tǒng)在基于電子病歷（EHR）的醫(yī)療問答（QA）準確性、可讀性、穩(wěn)健性和穩(wěn)定性方面的表現(xiàn)。當所有六個AI代理都存在時，系統(tǒng)實現(xiàn)了94.15%的QA準確率，超越了部分或無代理集成的基準測試。其知識庫表現(xiàn)出高度有效性（F1分數(shù)=0.89）?？勺x性評分顯示，中位數(shù)弗萊施閱讀簡易度得分為77.23，中位數(shù)弗萊施金凱德等級為5.6，表明所有醫(yī)學專業(yè)人士都能理解。通過非顯著方差（方差分析F值=0.6126，p>0.1；F值=0.782，p>0.1）確認了其穩(wěn)健性和穩(wěn)定性。一項針對醫(yī)學生的用戶研究進一步證明，AI患者提供了高保真度、強大的可用性和有效的教育價值，在醫(yī)學病史采集場景中的表現(xiàn)與人類模擬患者相當或更好。AI患者系統(tǒng)的有前途的智能凸顯了其支持廣泛應用的潛力，包括醫(yī)學教育、模型評估和系統(tǒng)集成。文章原文全文可到文末加入知識星球獲取。
1.
研究問題：這篇文章要解決的問題是如何利用基于大型語言模型（LLM）的人工智能代理來提升模擬病人系統(tǒng)的智能化水平。模擬病人系統(tǒng)在現(xiàn)代醫(yī)學教育和研究中發(fā)揮著重要作用，但其在智能性和可信度方面的挑戰(zhàn)仍需解決。
2.
研究難點：該問題的研究難點包括：需要構建一個大型、多樣化和精確的患者知識庫，以及確保知識向用戶穩(wěn)定且可靠地傳播。
3.
相關工作：該問題的研究相關工作包括利用LLM進行醫(yī)學應用的研究，如模擬病人系統(tǒng)的開發(fā)。然而，現(xiàn)有的模擬病人系統(tǒng)在智能性和可信度方面仍存在不足，特別是在知識庫的多樣性和一致性方面。
這篇論文提出了AlPatient系統(tǒng)，一個由基于LLM的人工智能代理驅動的智能模擬病人系統(tǒng)。具體來說，
1.
知識庫構建：首先，使用命名實體識別（NER）方法從MIMIC-III數(shù)據(jù)庫中的出院小結中提取患者的癥狀、病史、過敏、社會史和家庭史等信息，構建AlPatient知識圖譜（AIPatient KG）。
2.
推理增強生成（RAG）框架：其次，系統(tǒng)采用了推理增強生成（RAG）框架，該框架通過六個特定任務LLM代理進行復雜推理。RAG框架的關鍵階段包括檢索、推理和生成三個階段。
3.
多代理協(xié)作：系統(tǒng)中的每個代理負責不同的任務，如信息檢索、抽象、檢查和生成。這些代理通過共享的JSON狀態(tài)進行通信，支持多輪對話，保持記憶和連貫性。
1.
數(shù)據(jù)收集：實驗使用了MIMIC-III數(shù)據(jù)庫中的1500個患者記錄，這些記錄已經(jīng)去除了個人身份信息（PII），以確保數(shù)據(jù)隱私。
2.
樣本選擇：通過分層抽樣，確保樣本在主要診斷類別上的代表性。
3.
參數(shù)配置：在評估LLM性能時，設置了每個輸入令牌的最大長度為4096，溫度參數(shù)為1，以限制模型輸出的多樣性。
4.
評估指標：系統(tǒng)性能的評估包括知識庫有效性（NER任務的F1分數(shù)）、問答準確性、可讀性、系統(tǒng)魯棒性和穩(wěn)定性。
1.
知識庫有效性：在NER任務中，GPT-4 Turbo模型的F1分數(shù)最高，達到0.89，表明其知識庫具有高效的結構化信息抽取能力。
2.
問答準確性：在所有六個代理都存在的情況下，系統(tǒng)的問答準確率達到94.15%，超過了部分或無代理集成的基準。
3.
可讀性：系統(tǒng)的Flesch閱讀易度中位數(shù)為68.77，F(xiàn)lesch-Kincaid年級水平中位數(shù)為6.4，表明系統(tǒng)生成的文本易于理解。
4.
系統(tǒng)魯棒性：系統(tǒng)對問題重述的魯棒性測試顯示，整體響應準確性的方差為0.6126，p值為0.5420，表明系統(tǒng)對問題表述變化的魯棒性較高。
5.
系統(tǒng)穩(wěn)定性：在32種個性類型下，系統(tǒng)的中位數(shù)據(jù)丟失率為2%，表明系統(tǒng)在不同模擬個性下的表現(xiàn)一致。
這篇論文展示了AlPatient系統(tǒng)在醫(yī)學教育和研究中的應用潛力。通過結合LLM和多代理協(xié)作，系統(tǒng)實現(xiàn)了高準確率、可讀性和魯棒性，能夠提供高質量的模擬病人體驗。未來的研究可以進一步擴展知識庫的多樣性和復雜性，并探索更多應用場景，如罕見病例的模擬和臨床決策支持。
1.
智能模擬病人系統(tǒng)：論文開發(fā)了AlPatient，一個基于大型語言模型（LLM）的智能模擬病人系統(tǒng)，能夠高保真、低成本地復制醫(yī)療條件和醫(yī)患互動。
2.
推理增強生成框架：系統(tǒng)采用了推理增強生成（RAG）框架，結合六個特定任務的LLM AI代理進行復雜推理。
3.
知識圖譜：系統(tǒng)構建了AlPatient知識圖譜（AIPatient KG），使用了MIMIC-III數(shù)據(jù)庫中的去標識真實病人數(shù)據(jù)。
4.
高準確性：系統(tǒng)在電子病歷（EHR）為基礎的醫(yī)學問答（QA）中達到了94.15%的準確性，超過了部分或無代理集成的基準。
5.
可讀性和穩(wěn)定性：系統(tǒng)的知識庫展示了高效性（F1分數(shù)=0.89），可讀性的Flesch閱讀易度中位數(shù)為77.23，F(xiàn)lesch-Kincaid年級水平中位數(shù)為5.6，表明所有醫(yī)學專業(yè)人員都能訪問。
6.
用戶研究：醫(yī)學學生的用戶研究進一步證明了AlPatient提供高保真度、強可用性和有效的教育價值，在病史采集場景中的表現(xiàn)與人類模擬病人相當或更好。
7.
多代理設計：通過多代理設計確保系統(tǒng)級別的智能，優(yōu)于單個LLM模型在醫(yī)學問答中的表現(xiàn)。
8.
適應性和魯棒性：系統(tǒng)在不同數(shù)據(jù)集和測試條件下的適應性得到了驗證，處理復雜醫(yī)療敘述的能力強。
1.
數(shù)據(jù)多樣性限制：依賴MIMIC-III的出院記錄限制了病人案例的多樣性，代表的人群同質性限制了泛化能力。
2.
醫(yī)學類別表現(xiàn)不一：系統(tǒng)在不同醫(yī)學類別中的表現(xiàn)存在差異，特別是社會史方面需要進一步改進。
3.
未明確建模健康的社會決定因素：盡管系統(tǒng)目前包含了多樣的個性特征以模擬病人行為，但尚未明確建模更廣泛的社會健康決定因素（如社會經(jīng)濟地位、教育水平或生活條件）。
4.
未來研究方向：未來的研究應探索在臨床環(huán)境中實施生成式AI（尤其是LLM）的倫理、心理和專業(yè)維度。
5.
系統(tǒng)改進建議：用戶反饋指出了系統(tǒng)在管理冗長回答和提高對非標準查詢的響應靈活性方面的改進空間。
問題1：AlPatient系統(tǒng)在構建知識庫時使用了哪些具體技術？這些技術如何提高了知識庫的有效性？
AlPatient系統(tǒng)在構建知識庫時使用了命名實體識別（NER）方法，從MIMIC-III數(shù)據(jù)庫中的出院小結中提取患者的癥狀、病史、過敏、社會史和家庭史等信息，構建AlPatient知識圖譜（AIPatient KG）。具體步驟包括：
1.
數(shù)據(jù)提取：使用NER技術從出院小結中提取醫(yī)療實體，如癥狀、病史、過敏、社會史和家庭史等。
2.
知識圖譜構建：將提取的醫(yī)療實體及其關系存儲在Neo4j圖數(shù)據(jù)庫中，形成一個結構化的知識圖譜。
3.
推理增強生成（RAG）框架：系統(tǒng)采用了推理增強生成（RAG）框架，通過六個特定任務LLM代理進行復雜推理，進一步提高了知識庫的有效性。
這些技術使得AlPatient系統(tǒng)能夠高效地抽取和結構化醫(yī)療實體信息，并通過多代理協(xié)作和推理框架提升了系統(tǒng)的智能性和準確性，從而顯著提高了知識庫的有效性。
問題2：AlPatient系統(tǒng)在問答準確性方面表現(xiàn)如何？與其他系統(tǒng)相比有何優(yōu)勢？
AlPatient系統(tǒng)在所有六個代理都存在的情況下，問答準確率達到94.15%。這一結果超過了部分或無代理集成的基準，表明系統(tǒng)在復雜醫(yī)學問題回答方面具有較高的準確性和可靠性。
與其他系統(tǒng)相比，AlPatient系統(tǒng)的優(yōu)勢主要體現(xiàn)在以下幾個方面：
1.
多代理協(xié)作：系統(tǒng)中的每個代理負責不同的任務，如信息檢索、抽象、檢查和生成，通過共享的JSON狀態(tài)進行通信，支持多輪對話，保持記憶和連貫性。
2.
推理增強生成（RAG）框架：該框架在傳統(tǒng)RAG框架的基礎上，插入了逐步推理過程，提升了系統(tǒng)在處理復雜醫(yī)學問題時的性能和準確性。
3.
高質量的知識庫：通過NER技術構建的知識圖譜確保了系統(tǒng)能夠準確地抽取和結構化醫(yī)療實體信息，從而提高了問答的準確性。
問題3：AlPatient系統(tǒng)在系統(tǒng)魯棒性和穩(wěn)定性方面有哪些表現(xiàn)？這些特性如何影響系統(tǒng)的實際應用？
AlPatient系統(tǒng)在系統(tǒng)魯棒性和穩(wěn)定性方面表現(xiàn)出色：
1.
系統(tǒng)魯棒性：對問題重述的魯棒性測試顯示，整體響應準確性的方差為0.6126，p值為0.5420，表明系統(tǒng)對問題表述變化的魯棒性較高，能夠處理不同表述的醫(yī)學問題。
2.
系統(tǒng)穩(wěn)定性：在32種個性類型下，系統(tǒng)的中位數(shù)據(jù)丟失率為2%，表明系統(tǒng)在不同模擬個性下的表現(xiàn)一致，能夠保持穩(wěn)定的醫(yī)療信息輸出。
這些特性對系統(tǒng)的實際應用有重要影響：
1.
魯棒性：系統(tǒng)的高魯棒性使其能夠在面對不同表述的醫(yī)學問題時仍能保持較高的問答準確性，減少了因問題表述變化導致的誤差。
2.
穩(wěn)定性：系統(tǒng)在不同模擬個性下的穩(wěn)定表現(xiàn)確保了其在實際應用中能夠提供一致的醫(yī)療模擬體驗，增強了系統(tǒng)的可靠性和可用性。
總體而言，AlPatient系統(tǒng)的高魯棒性和穩(wěn)定性使其在實際應用中能夠提供高質量、可靠的模擬病人體驗，適用于醫(yī)學教育、模型評估和系統(tǒng)集成等多種場景。#aipatient#知識圖譜#大模型#虛擬病人。
特別聲明：智慧醫(yī)療網(wǎng)轉載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時并不代表贊成其觀點或證實其描述，內(nèi)容僅供參考。版權歸原作者所有，若有侵權，請聯(lián)系我們刪除。
凡來源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉載需獲授權。
智慧醫(yī)療網(wǎng) ? 2022 版權所有 ICP備案號：滬ICP備17004559號-5
