OpenAI o1 surpasse les médecins dans le diagnostic à partir des données des urgences
Selon une publication dans Science, le modèle d'IA o1-preview a atteint 78,3 % de précision sur les cas les plus difficiles du NEJM, surpassant les médecins humains et les versions précédentes de GPT-4. L'écart le plus important en faveur de l'IA a été observé lors de la phase de triage aux urgences, lorsque le moins d'informations sur le patient sont disponibles.
Alors que les gros titres clament « l'IA dépasse les médecins aux urgences », la véritable histoire est plus nuancée et préoccupante. Le 29 avril 2026, la revue Science a publié une étude qui ne porte pas vraiment sur la victoire d'un algorithme, mais sur un changement de méthodologie dans la recherche médicale en IA. Une équipe dirigée par Peter Broder du Beth Israel Deaconess Medical Center et de la Harvard Medical School a réalisé la première comparaison en aveugle du modèle OpenAI o1 avec des médecins humains, non pas sur des vignettes d'entraînement, mais sur des données réelles et non structurées des urgences – et a simultanément démontré que le modèle échoue précisément là où les enjeux sont les plus élevés.
Le cœur du sujet : non pas remplacer les médecins, mais redéfinir le standard de preuve
L'étude comprenait six expériences. Cinq utilisaient des cas cliniques structurés, la sixième utilisait 76 cas réels des urgences du Beth Israel Deaconess Medical Center à Boston. À toutes les étapes, le modèle o1 a surpassé les médecins : lors du triage, la précision du diagnostic différentiel était de 67,1 % contre 55,3 % et 50,0 % pour deux médecins traitants. L'écart était le plus grand précisément lorsque les informations étaient minimales – au premier contact avec le patient.
Mais le résultat clé de l'étude est caché dans les détails. Les auteurs soulignent que o1-preview n'a pas montré de supériorité statistiquement significative par rapport aux médecins dans l'identification des « diagnostics à ne pas manquer » – des conditions dont l'omission met la vie en danger. Le modèle génère brillamment un large diagnostic différentiel, mais il n'est pas meilleur qu'un humain pour identifier la menace principale. Ce n'est pas une simple réserve, mais un résultat central pour l'évaluation de la sécurité.
La méthodologie est impressionnante : les diagnostics générés par le modèle et par les médecins ont été évalués par deux spécialistes supplémentaires qui ne savaient pas s'ils analysaient une réponse humaine ou machine. L'aveugle a fonctionné : les évaluateurs ont correctement identifié la source dans seulement 15 % et 3 % des cas, respectivement. En d'autres termes, les textes d'o1 sont cliniquement indiscernables de ceux rédigés par un médecin compétent.
Chronologie et contexte : la course aux méthodes d'évaluation
L'étude n'est pas née dans le vide. Dès les années 1950, Ledley et Lusted ont proposé des benchmarks basés sur des cas comme standard pour évaluer les systèmes informatiques médicaux. Depuis lors, les conférences clinicopathologiques du NEJM servent de référence : chaque génération de générateurs de diagnostics différentiels a été testée sur ces cas.
Jusqu'en 2024, les modèles d'apprentissage automatique pour le diagnostic étaient si faibles que la comparaison avec les médecins était dénuée de sens. La situation a changé avec l'avènement de GPT-4, qui a commencé à approcher le niveau humain dans certaines tâches. o1-preview est devenu le premier modèle de raisonnement à subir des tests en aveugle à grande échelle contre des médecins de différents niveaux de formation.
Ce qui est fondamentalement nouveau dans la conception de Broder, c'est l'utilisation de dossiers réels des urgences plutôt que de vignettes nettoyées. Cela répond à la principale critique des travaux précédents : les cas d'entraînement sont bien structurés, alors que les informations cliniques réelles sont chaotiques, redondantes et contiennent des erreurs. La sixième expérience a prouvé que le modèle peut extraire le signal du bruit aussi bien qu'un clinicien expérimenté.
Qui gagne et qui perd
Ceux qui parient sur le « médecin augmenté » plutôt que sur le « médecin remplacé » gagnent. OpenAI obtient une validation de son architecture de raisonnement dans le domaine le plus exigeant – la médecine. Cela renforce la position de l'entreprise dans les négociations avec les réseaux hospitaliers et les assureurs. La Harvard Medical School et le BIDMC consolident leur statut de centres d'évaluation de l'IA clinique : une publication dans Science avec une méthodologie transparente crée un modèle que d'autres reproduiront.
Les développeurs de systèmes d'aide à la décision clinique de génération précédente – les vérificateurs de symptômes basés sur des réseaux bayésiens et des règles – sont définitivement dépassés. Les startups vendant des « médecins IA » en tant qu'entités autonomes perdent également : l'étude de Broder montre clairement que le modèle n'est pas sûr sans un médecin précisément aux points critiques.
Ce que les médias ne disent pas
Le premier point non évident est le conflit d'intérêts. Adam Rodman, l'un des co-auteurs, est chercheur invité chez Google DeepMind, et Eric Horvitz est employé de Microsoft. Cela ne compromet pas les données, mais explique pourquoi l'étude se concentre sur les capacités du modèle plutôt que sur les risques de son déploiement.
Le deuxième point est la limitation textuelle du modèle. o1 n'a pas accès aux images, aux données d'examen physique ou aux informations auditives. En médecine d'urgence, l'apparence, l'odeur et les bruits respiratoires du patient sont des signaux critiques. Un modèle qui ne travaille qu'avec du texte est fondamentalement limité.
Le troisième et plus important aspect est le vide réglementaire. Parallèlement à la publication dans Science, la revue Nature Medicine a publié deux articles exigeant que l'IA médicale démontre des améliorations des résultats cliniques, et pas seulement une précision sur des benchmarks. Ce timing n'est pas une coïncidence : la communauté de recherche en IA reconnaît que la plupart des systèmes déployés n'ont pas prouvé de bénéfice réel pour les patients.
Prévisions : les 30 et 90 prochains jours
Dans les 30 prochains jours, je m'attends à ce qu'au moins un grand réseau hospitalier américain – probablement Mass General Brigham – annonce des plans pour une étude prospective d'o1 en tant qu'outil de « second avis » aux urgences. Ce ne sera pas un essai randomisé contrôlé, mais une étude observationnelle évaluant la concordance entre les diagnostics du modèle et le diagnostic final de sortie.
Dans les 90 jours, la FDA publiera un document de travail sur le statut des LLM en tant que logiciels d'aide à la décision clinique. La question clé : si le modèle ne surpasse pas les médecins dans l'identification des diagnostics à ne pas manquer, peut-il être approuvé pour une utilisation autonome ? La réponse sera presque certainement négative, refroidissant le marché des « diagnostiqueurs IA » mais accélérant le développement de systèmes avec intervention humaine.
La prévision principale : l'étude de Broder deviendra un précédent qui changera le standard d'évaluation de l'IA médicale. Désormais, il ne suffit plus de montrer une précision sur un benchmark – une comparaison en aveugle avec des médecins sur des données réelles et une analyse de sécurité obligatoire aux points critiques sont requises. Les startups qui ne sont pas prêtes pour ce niveau de validation perdront l'accès au capital-risque dans les 12 mois. Ce n'est pas une crise, mais une maturation du marché : la médecine exige non seulement de la précision, mais aussi une sécurité démontrable.
— Editorial Team
