國內首次AI 醫生一致性評測 評審專家稱“超出預期”
評測人員名單
在歷經8個小時的問診過程中,MedGPT 與來自四川大學華西醫院的心內科、消化內科、呼吸內科、內分泌科、腎臟內科、骨科、泌尿外科的10位主治及以上醫師共同對100余名患者進行問診,經過專家評審團,從準確性、客觀數據分析、可信度、人機交互性展開。最終,經過長達3個小時的對比分析及判斷,綜合專家團所有評審的判定及評分,AI醫生與三甲主治醫生在比分結果上的一致性達到了96%。
一致性研究評測規則
評審流程
為了保證評測的合理性和科學性,此次測試的問診環節進行了特殊的設計:患者進入診室后,將與醫助溝通自身病情,醫助通過線上文字輸入的方式將患者主訴傳達給真人醫生與AI醫生病協助醫患完成多輪溝通,在收集足夠的決策因子后,真人醫生與 AI 醫生為患者開具檢查單或診斷,患者直接在成都高新海爾森醫院完成檢查;在獲得檢查結果后,患者進行復診,并由AI醫生及真人醫生提供臨床診斷及治療方案。通過以上流程,可以在條件基本一致的情況下,讓真人醫生與AI醫生進行互不干涉的獨立診斷。
專家評審維度
云化能力結合 AI 醫生“手段”更加豐富
值得一提的是,MedGPT不僅在一致性上達到了一定水準,還可以提供疾病治療環節中的其他“手段”,例如此次診斷過程中的“云檢驗”:在完成初步問診后,MedGPT會給患者開具必要的醫學檢查項目,以進一步明確病情。患者則可以通過醫聯云檢驗等多模態能力進行檢查。基于有效問診以及醫學檢查數據,MedGPT得以進行準確的疾病診斷,并為患者設計后續疾病治療方案。對于真人醫生來說,開具檢驗并根據結果對病情進行判斷是疾病診斷過程中的常規操作,但對于AI 醫生來說,這是一則突破。
真人醫生(左)與AI 醫生(右)為患者開具檢驗檢查并進行解讀
在此次問診現場,MedGPT就為患者開具了多種檢驗檢測,患者在憑借單據直接在成都高新海爾森醫院完成相關檢測。醫聯MedGPT項目負責人王磊表示:MedGPT 開單檢查只是多模態能力的其中一環,MedGPT 后續將配合醫聯多種云化能力,覆蓋預防、診斷、治療、康復的疾病管理全流程,讓患者輕松接觸到優質醫療資源。未來,MedGPT 會擁有更大的想象空間。
事實上,醫聯在今年5月已經公布了 MedGPT多種醫學檢驗檢測模態能力。除了配合云化能力進行檢驗檢測外,MedGPT會在患者收到藥品后主動為患者進行用藥指導與管理、智能隨訪復診、康復指導等智能化疾病診療動作。醫聯MedGPT plugin 應用平臺整合超過 1000+醫療多模態能力,整合多樣化的醫療多模態能力,豐富和完善全流程智能化診療體驗。
一次階段性探索 一次 AI 應用發展的推進
現階段,醫療行業還存在著資源分配不均,邊緣地區患者難以接觸到優質醫療資源等痛點,而AI醫療可以有效補充醫療資源,助力全民健康生活水平的提升,有利于補全基層診療服務短板,強化公共衛生服務效率,幫助解決優質醫療資源相對匱乏和基層醫療服務能力不足的結構性難題。另附評審專家意見及具體評分:
王磊:“MedGPT 不會漏掉患者提供的重要信息,詢問病史非常全面,避免出現漏診的情況。知識面也比較豐富,會給患者解答其他科室的問題。但缺乏臨床醫生的察言觀色,無法為病人提供情緒上的照顧。此外就是數據準確性上需要提升。”
任景怡教授:“我可能是唯一一個給MedGPT打分超過真人醫生的,盡管MedGPT還有很多的問題,但我覺得邁出了這一步,算是里程碑的結果。MedGPT它可能有更完善的知識儲備,它可以關注到全科的情況。它在診斷不明的時候一直堅持沒有給患者以治療手段,這點我認為值得鼓勵,在診斷不明的時候,隨便給出治療手段會犯更大的錯誤,堅持很重要。有時候 MedGPT 會給出過度治療的建議,這點需要調整。”
劉國梁教授:“MedGPT在包括藥物過敏預警、處方開具等安全性方面做得好,能夠彌補人的不足。但開檢查的時候會存在重復推薦的情況。MedGPT可以提前篩選一些患者和提示真人醫生沒有問到的地方,大大提高診療效率,這是我覺得非常重要的一個發展方向。”
楊躍進教授:“問診比較詳細,它對于每個細節都很注重,作為臨床醫生的補充是非常有幫助的。但詳細有時候意味著重點不突出,有些問題,就需要一查到底,未來還需要繼續凝練。”
宗曄教授:“我給真人醫生打分較高,我認為真人醫生還是能夠抓住重點的,而對MedGPT我要求的還是要更高一些。MedGPT會圍繞這個核心的癥狀,包括誘因、伴隨癥狀,包括胃里面報警癥狀進行問診,比較詳細。缺點是有些檢查選擇的比較,這部分還是要加強基礎儲備。”
蔡美順教授:“從病史和檢查方面做的都比較全面,但是某些概念的表述準確性上需要優化。總體來說,人工智能還是對我們以后的工作有幫助。”
薛峰:“超出預期,問診很詳細,可以不知疲倦的和患者耐心溝通,在常見病領域還能起到對患者科普的作用;但是現階段的AI醫生無法實現查體,未來在醫學多模態能力上還有突破才有更大的應用價值。”
2014-2025 醫聯
蜀ICP備14021831號
互聯網藥品信息服務資格證編號(川)-經營性-2021-0058
成都醫云科技有限公司 All Rights Reserved
地址:北京市朝陽區東三環中路7號北京財富中心寫字樓A座27層