打開手機(jī)掃描二維碼
即可在手機(jī)端查看
CREATIVE TECHNOLOGY
大模型之高歌猛進(jìn) 醫(yī)療場景的“小試牛刀” 01 臨床決策支持 四川大學(xué)華西醫(yī)院信息中心劉加林教授團(tuán)隊(duì)于2023年6月在Journal of Medical Internet Research(JCI)發(fā)表文章“Utility of ChatGPT in Clinical Practice”。 文章根據(jù)實(shí)驗(yàn)結(jié)果得出了以下數(shù)據(jù): 在臨床決策支持方面,ChatGPT的應(yīng)用已經(jīng)取得了一些成果。研究表明,在診斷方面,ChatGPT在常見病的正確診斷率高達(dá)93.3%。 在臨床決策方面,36個(gè)已發(fā)表的臨床案例輸入ChatGPT,并根據(jù)患者年齡、性別和案例的敏感性比較了鑒別診斷、診斷測試、最終診斷和處理的準(zhǔn)確性。在所有36個(gè)臨床病例中,ChatGPT的總體準(zhǔn)確率達(dá)到了71.7%(95% CI,69.3%~74.1%)。 02 科研GPT 以色列理工學(xué)院的生物學(xué)家和數(shù)據(jù)科學(xué)家Roy Kishony和其學(xué)生Tal Ifargan。他們使用ChatGPT在極短時(shí)間內(nèi)寫完了一篇論文,題為《果蔬攝入量和體育鍛煉對(duì)成年人糖尿病的影響》。這篇論文行文流暢,論證嚴(yán)密,并以研究論文的預(yù)期結(jié)構(gòu)呈現(xiàn)。 Kishony認(rèn)為,“它制作的手稿一點(diǎn)也不差?!?/span> 不久前,還有一位科學(xué)家用ChatGPT搞出了一件大事情。美國田納西大學(xué)健康科學(xué)中心的放射科醫(yī)生Som Biswas,在4個(gè)月內(nèi)使用ChatGPT寫了16篇論文,并在4個(gè)不同的期刊上發(fā)表了其中5篇。 必須說,隨著ChatGPT的入局,AIGC(人工智能生成內(nèi)容)數(shù)量井噴,尤其是在學(xué)界,ChatGPT更是成為科研人員的得力助手。 CREATIVE TECHNOLOGY 大模型之未解之謎 無法忽視的安全隱患 01 黑盒效應(yīng) Transformer的應(yīng)用就像一枚硬幣的兩面,模擬生物神經(jīng)系統(tǒng)的學(xué)習(xí)方式讓大模型就像李楠老師在《“ChatGPT+醫(yī)療”的應(yīng)用場景探討》一文中所說,更有“人味兒 ”。 大模型的效果非常出色,但帶來的問題是模型可解釋性低,也就是“黑盒”效應(yīng)。 Transformer的內(nèi)部是一個(gè)高度非線性的模型,包含眾多的神經(jīng)元以及大量的參數(shù),這意味著模型從輸入到輸出結(jié)果的過程受到繁雜的變量影響,這個(gè)過程與人類分析問題常用的“排除變量法”是相悖的,導(dǎo)致“論證”的過程無法被揭開。 協(xié)和醫(yī)院的朱醫(yī)生也參與了本次調(diào)研,作為一名醫(yī)生,她對(duì)于大模型卻頗有研究,朱醫(yī)生告訴我們:“現(xiàn)代醫(yī)學(xué)之所以被稱為'循證醫(yī)學(xué)',其核心思想便是根據(jù)可靠的臨床研究及數(shù)據(jù)來制定治療方案,以支持和確保醫(yī)療決策是基于科學(xué)證據(jù)而不是一堆非線性數(shù)據(jù)的推理。” 02 幻覺問題 據(jù)Google稱,醫(yī)療大模型Med-PaLM 2已進(jìn)入實(shí)測階段,(Med-PaLM 2為首個(gè)在美國醫(yī)療執(zhí)照考試中達(dá)到專家水平的大模型)但在Google2023年5月份發(fā)布的《Large Language Models Encode Clinical Knowledge》論文中,和其他大模型類似,Med-PaLM 2也存在“幻覺”問題,容易“胡言亂語”。 嚴(yán)格的說,幻覺并不是“問題”,而是大模型推理過程中涌現(xiàn)出來的,也體現(xiàn)了大模型的創(chuàng)造性。既然是創(chuàng)造性的產(chǎn)物,必然既有真實(shí),又有幻想。這可能也是大模型和搜索引擎最大的差別,搜索引擎沒有幻想,只給出真實(shí)搜到的結(jié)果。 學(xué)術(shù)界對(duì)于降低幻覺給出了大致兩個(gè)解決方向: 1、預(yù)訓(xùn)練與強(qiáng)化學(xué)習(xí)等技術(shù)方向 例如,讓大模型先生成一個(gè)基準(zhǔn)回答,然后根據(jù)事實(shí)數(shù)據(jù)以靈活的方式生成相關(guān)的待驗(yàn)證問題,再讓大模型通過各種變體生成驗(yàn)證問題的答案,這時(shí)進(jìn)行交叉檢查,確認(rèn)答案是否和原始答案一致。通過這些步驟的明確執(zhí)行,系統(tǒng)就能更容易得掌握減少幻覺的推理步驟。 2、Agent智能體輔助工具方向 大模型的能力眾所周知,但“智商”只是Agent落地的一部分。目前無論是中國還是美國,新的共識(shí)正在逐漸形成:第一是Agent需要調(diào)用外部工具,第二是調(diào)用工具的方式就是輸出代碼——由LLM大腦輸出一種可執(zhí)行的代碼,像是一個(gè)語義分析器,由它理解每句話的含義,然后將其轉(zhuǎn)換成一種機(jī)器指令,再去調(diào)用外部的工具來執(zhí)行或生成答案。盡管現(xiàn)在的 Function Call 形式還有待改進(jìn),但是這種調(diào)用工具的方式是非常必要的,是解決幻覺問題的最徹底的手段。 盡管大模型的幻覺問題在技術(shù)上已經(jīng)不斷進(jìn)步,但是在醫(yī)療、教育、金融、法律等應(yīng)用上,對(duì)大模型幻覺的容錯(cuò)率需要降到足夠低的水準(zhǔn)。 03 數(shù)據(jù)安全問題 中國科學(xué)院院士何積豐發(fā)言指出,大模型當(dāng)前面臨的安全問題主要涵蓋兩方面,分別是隱私保護(hù)和價(jià)值觀對(duì)齊兩大難題。 隱私保護(hù)問題的是,在未經(jīng)允許的情況下,大模型是否會(huì)收集、使用和泄露個(gè)人信息。 價(jià)值觀對(duì)齊問題的是,使得大模型的價(jià)值觀與人類的價(jià)值觀相對(duì)齊。使得大模型按照設(shè)計(jì)者的意愿行事,而不作出超出意圖之外的舉動(dòng)。 數(shù)據(jù)可以說是構(gòu)成大模型的骨骼,為其提供了基礎(chǔ)支撐。 在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的領(lǐng)域中,數(shù)據(jù)的獲取、加工及利用的方式?jīng)Q定了模型的性能和準(zhǔn)確性。但是,數(shù)據(jù)層面的安全隱患卻是不可避免的。 其中最常見的問題包括數(shù)據(jù)的非法泄漏,這可能導(dǎo)致敏感信息暴露;數(shù)據(jù)被惡意篡改,這可能導(dǎo)致訓(xùn)練出的模型有誤導(dǎo)性;還有非法獲取或使用未經(jīng)授權(quán)的數(shù)據(jù),這不僅違法,還可能使得模型偏離了其原本的目的。 這些隱患都可能對(duì)模型的訓(xùn)練和應(yīng)用帶來不良影響,使其失去原有的效果甚至產(chǎn)生誤導(dǎo)。 CREATIVE TECHNOLOGY 小 結(jié) 大模型之于醫(yī)療任重道遠(yuǎn),醫(yī)療是一個(gè)“保守創(chuàng)新”的行業(yè),擁抱新技術(shù),積極探索應(yīng)用場景,但也必須科學(xué)論證理性分析。
文章來源:
1、《聊聊大模型的幻覺問題》
2、《以色列一對(duì)師生借助ChatGPT,1小時(shí)完成1篇論文糖尿病論文》
3、《大模型下半場,關(guān)于Agent的幾個(gè)疑問》
4、《大模型:無法忽視的安全隱憂》
智慧醫(yī)療網(wǎng) ? 2022 版權(quán)所有 ICP備案號(hào):滬ICP備17004559號(hào)-5