OpenAI o1在急诊数据诊断中超越医生
根据《科学》杂志发表的一项研究,AI模型o1-preview在《新英格兰医学杂志》最具挑战性的病例中达到了78.3%的准确率,超过了人类医生和之前版本的GPT-4。AI优势最大的差距出现在急诊分诊阶段,此时关于患者的信息最少。
尽管头条新闻高呼“AI在急诊科超越医生”,但真实情况更为微妙且令人担忧。2026年4月29日,《科学》杂志发表了一项研究,这并非关于算法的胜利,而是关于AI医学研究方法论的转变。由贝斯以色列女执事医疗中心和哈佛医学院的Peter Broder领导的团队,首次将OpenAI o1模型与人类医生进行了盲法比较,使用的不是训练案例,而是急诊科真实的非结构化数据——同时证明了该模型在风险最高的地方恰恰失败。
核心:不是取代医生,而是重新定义证据标准
该研究包含六项实验。前五项使用结构化临床案例,第六项使用波士顿贝斯以色列女执事医疗中心急诊科的76个真实案例。在所有阶段,o1模型的表现都优于医生:在分诊阶段,鉴别诊断的准确率为67.1%,而两位主治医生分别为55.3%和50.0%。差距最大的时候正是信息最少的时候——首次接触患者时。
但研究的关键发现隐藏在细节中。作者强调,o1-preview在识别“不可遗漏的诊断”(即遗漏会危及生命的疾病)方面并未显示出统计学上的显著优势。该模型能出色地生成广泛的鉴别诊断,但在识别主要威胁方面并不比人类更好。这不是一个小问题,而是安全评估的核心结果。
方法论令人印象深刻:模型和医生生成的诊断由另外两位专家评估,他们不知道自己在分析人类还是机器的回答。盲法有效:评审者分别在15%和3%的案例中正确识别了来源。换句话说,o1的文本在临床上与称职医生所写的无法区分。
时间线与背景:评估方法的竞赛
这项研究并非凭空出现。早在20世纪50年代,Ledley和Lusted就提出了基于案例的基准作为评估医学计算系统的标准。此后,《新英格兰医学杂志》的临床病理讨论会成为金标准:每一代鉴别诊断生成器都在这些案例上接受测试。
直到2024年,用于诊断的机器学习模型仍然非常薄弱,与医生比较毫无意义。随着GPT-4的出现,情况发生了变化,它开始在某些任务上接近人类水平。o1-preview成为第一个接受与不同训练水平医生进行大规模盲法测试的推理模型。
Broder的设计中根本性的新意在于使用了真实的急诊科记录,而不是经过清理的案例。这解决了以往研究的主要批评:训练案例结构清晰,而真实的临床信息混乱、冗余且包含错误。第六项实验证明,该模型能像经验丰富的临床医生一样从噪声中提取信号。
谁赢谁输
那些押注“增强型医生”而非“替代型医生”的人赢了。OpenAI在最苛刻的领域——医学——获得了对其推理架构的验证。这加强了该公司在与医院网络和保险公司谈判中的地位。哈佛医学院和BIDMC巩固了其作为临床AI评估中心的地位:在《科学》杂志上发表透明方法的研究为其他人提供了可复制的模板。
基于贝叶斯网络和规则的上一代临床决策支持系统(症状检查器)的开发者已彻底过时。将“AI医生”作为独立实体销售的初创公司也输了:Broder的研究清楚地表明,在关键点上,没有医生的模型是不安全的。
媒体未提及的
第一个不明显的问题是利益冲突。合著者之一Adam Rodman是Google DeepMind的访问研究员,Eric Horvitz是微软员工。这不会损害数据,但解释了为什么研究侧重于模型的能力而非部署风险。
第二个问题是模型的文本限制。o1无法访问图像、体检数据或听觉信息。在急诊医学中,患者的外观、气味和呼吸音是关键信号。仅处理文本的模型有根本性的局限。
第三个也是最重要的方面是监管空白。与《科学》杂志文章同时,《自然·医学》杂志发表了两篇文章,要求医学AI必须展示临床结果的改善,而不仅仅是基准测试的准确性。这个时机并非巧合:AI研究界承认,大多数已部署的系统尚未证明对患者有实际益处。
预测:未来30天和90天
在未来30天内,我预计至少有一家美国大型医院网络——很可能是麻省总医院布莱根——将宣布计划开展一项前瞻性研究,将o1作为急诊科的“第二意见”工具。这不会是随机对照试验,而是一项观察性研究,评估模型诊断与最终出院诊断之间的一致性。
在90天展望中,FDA将发布一份关于大语言模型作为临床决策支持软件状态的讨论文件。关键问题是:如果模型在识别不可遗漏的诊断方面并不优于医生,能否批准其自主使用?答案几乎肯定是否定的,这将冷却“AI诊断医生”市场,但加速人机协作系统的发展。
主要预测:Broder的研究将成为改变医学AI评估标准的先例。从现在起,仅展示基准测试的准确性是不够的——需要与医生在真实数据上进行盲法比较,并在关键点进行强制性安全分析。未准备好接受这种验证水平的初创公司将在12个月内失去风险投资。这不是危机,而是市场成熟:医学不仅要求准确性,还要求可证明的安全性。
— Editorial Team