AI問診會比真人醫生更準嗎?近日,美國斯坦福大學與OpenAI旗下產品ChatGPT4o進行的一輪隨機臨床試驗,再次將大眾的視線聚焦在大模型醫療應用領域。
從這次的實驗的紙面結果來看,GPT可謂是“強得可怕”。在人類醫生單獨做出診斷的情況下,準確率為74%;在AI輔助的情況下,準確率上升到 76%。
ChatGPT4o本次的實驗表現固然讓人感到眼前一亮。不過值得一提的是,在太平洋彼岸,他們的中國同行醫聯,在一年前就曾做過一份類似的“考卷”。
作為一家專注于嚴肅醫療的醫療大模型應用公司,早在2023年6月,醫聯MedGPT就在中國成都舉行了全球首次AI醫生與真人醫生的一致性評測,并進行了全天候實時直播。最終的實驗結果顯示,AI醫生與三甲主治醫生在比分結果上的一致性達到了96%。
兩次測試都有著很高的實驗得分,那么,如果拿醫聯MedGPT在23年的真人實驗與ChatGPT4o在24年的實驗進行一次pk,誰會是優勝一方?
一場跨越時間的實驗PK
眾所周知,在醫療領域,鑒于大語言模型(LLMs)嚴肅的預期用途,除了政府和機構的強監管之外,還需要開發機構對大模型在臨床診療中的實用性和可靠性進行真實性實驗與評估。因此,我們的“對照PK”,也不妨從實驗時間、參加實驗真人醫生平均工作年限、實驗時長、實驗病例、測試方法、評價維度數量幾個角度來進行比對。
首先,我們從實驗及參與人員專業年限角度來進行分析,醫聯的實驗研究始于2023年6月,涉及四川大學華西醫院多科室的10位三甲醫院的主治醫師,7 位主任醫師參與,平均工作年限約為 12年,實驗共招募100余名真實患者,形成了91份有效病例,樣本具有一定的多樣性和臨床代表性,最終的實驗結果顯示,AI醫生與三甲主治醫生在比分結果上的一致性達到了96%。
而ChatGPT4o的實驗則是從2024年開始,研究團隊隨機從斯坦福大學、弗吉尼亞大學等機構招募到了50名醫生,其中包括44名內科醫生、5名急診醫生和1名家庭醫生,工作年限中位數為3年,對105例病歷進行實驗測試。
對比后不難發現,兩項研究均涵蓋了不同層級的醫生,但醫聯的研究涉及的科室更廣,參與醫生的工作經驗明顯高于ChatGPT4o, 且是前瞻性驗證研究。考慮到兩次實驗的實操時間,從時間維度來看,醫聯的實驗無疑更具有前瞻性。
再從測試方法和評價維度數量來看,ChatGPT4o的實驗主要基于結構化反思工具,包括鑒別診斷準確性、支持和反對因素的合理性以及下一步診斷評估步驟等三個方面評分注重診斷。
而醫聯MedGPT的研究設計維度更為豐富細致,研究設立針對AI醫生的問診準確性、診斷準確性、治療建議準確性、輔助檢查方案準確性、數據分析準確性、提供可解釋信息、自然語言問診與交互這七個評價維度進行打分。全面覆蓋了臨床診療的關鍵環節,實現了從問診到治療建議等多方面評估。
最后,我們以實驗是否貼近臨床場景進行對比。ChatGPT4o的實驗中,醫生需要在1個小時時間內,完成6個病例的結構化反思表格,本質上還是“做題”模式,并未切入臨床實際問診環境;
而醫聯MedGPT則是將實驗直接搬到醫院,在8個小時的實驗時間中,患者除了與真人醫生和AI醫生完成多輪面對面溝通外,還支持為患者開具檢查單或診斷,在患者獲得檢查結果后進行復診,并由AI醫生及真人醫生提供臨床診斷及治療方案。通過以上流程,可以更大 化的還原真實就醫問診環境。從擬真性和可及性角度來說,MedGPT無疑也更勝一籌。
通過以上的實驗對比,不難發現,無論是實驗的設計、參與人員的專業度、是否還原真實問診環節這幾個維度,最終的實驗結果顯示,AI醫生與三甲主治醫生在比分結果上的一致性達到了96%。MedGPT在23年6月的實驗都更勝一籌。通過嚴謹的臨床試驗方案及評估體系,有望成為醫生的得力助手,為提高醫療服務質量和效率提供有力支持,推動醫療行業向智能化方向發展。
AI醫療,未來已至?
現階段,醫療行業還存在著資源分配不均,邊緣地區患者難以接觸到優質醫療資源等痛點,而AI醫療可以有效補充醫療資源,助力全民健康生活水平的提升,有利于補全基層診療服務短板,強化公共衛生服務效率,幫助解決優質醫療資源相對匱乏和基層醫療服務能力不足的結構性難題。
AI診療產品的想象空間有多大,取決于AI醫生診斷的可靠度、可信度、一致性有多高。醫聯通過多次模擬,驗證了MedGPT已經具備了通過問詢方式給到患者較高準確率的問診能力,對于醫療診斷的革新具備突破性的價值。
目前,MedGPT已經可以實現常見疾病咨詢、緊急處理咨詢、AI語音圖像識別、慢性病管理咨詢、診后康復咨詢等功能。患者不用再依靠搜索引擎獲取未經過濾的醫學內容,在前往醫院就診前,也可以通過與AI醫生的簡單咨詢得到相對準確的初步判斷,大大降低了患者的就醫成本和醫院的診療壓力。
未來,醫聯將繼續深耕大語言模型技術,持續提升AI醫生在醫療領域的實際應用價值,爭取覆蓋常見病、急病和危重病的就診需求,將醫生從繁重的初級事務中解脫出來,更多地把精力傾斜到疑難重病的診療中。MedGPT將秉持著為醫生服務的初心,成為醫生診療過程中的“智慧AI助手”,為醫療行業的技術發展持續貢獻科技力量,力爭貫徹讓全人類健康壽命延長一年”的使命。
2014-2025 醫聯
蜀ICP備14021831號
互聯網藥品信息服務資格證編號(川)-經營性-2021-0058
成都醫云科技有限公司 All Rights Reserved
地址:北京市朝陽區東三環中路7號北京財富中心寫字樓A座27層