OpenAI o1 übertrifft Ärzte bei der Diagnose aus Notaufnahmedaten
Laut einer Veröffentlichung in Science erreichte das KI-Modell o1-preview bei den schwierigsten Fällen aus dem NEJM eine Genauigkeit von 78,3 % und übertraf damit menschliche Ärzte sowie frühere Versionen von GPT-4. Die größte Kluft zugunsten der KI zeigte sich während der Triage in der Notaufnahme, wenn die wenigsten Informationen über den Patienten vorliegen.
Während Schlagzeilen schreien „KI übertrifft Ärzte in der Notaufnahme“, ist die wahre Geschichte nuancierter und besorgniserregender. Am 29. April 2026 veröffentlichte die Zeitschrift Science eine Studie, die nicht wirklich von einem Sieg eines Algorithmus handelt, sondern von einem Wandel in der Methodik der medizinischen KI-Forschung. Ein Team unter der Leitung von Peter Broder vom Beth Israel Deaconess Medical Center und der Harvard Medical School führte den ersten blinden Vergleich des OpenAI o1-Modells mit menschlichen Ärzten durch – nicht anhand von Trainingsvignetten, sondern anhand realer, unstrukturierter Daten aus der Notaufnahme – und zeigte gleichzeitig, dass das Modell genau dort versagt, wo die Einsätze am höchsten sind.
Der Kern: Nicht Ärzte ersetzen, sondern den Evidenzstandard neu definieren
Die Studie bestand aus sechs Experimenten. Fünf verwendeten strukturierte klinische Fälle, das sechste 76 reale Fälle aus der Notaufnahme des Beth Israel Deaconess Medical Center in Boston. In allen Phasen übertraf das o1-Modell die Ärzte: Während der Triage lag die Genauigkeit der Differentialdiagnose bei 67,1 % gegenüber 55,3 % und 50,0 % für zwei behandelnde Ärzte. Die größte Kluft zeigte sich genau dann, wenn die Informationen minimal waren – beim ersten Patientenkontakt.
Aber das zentrale Ergebnis der Studie versteckt sich in den Details. Die Autoren betonen, dass o1-preview keine statistisch signifikante Überlegenheit gegenüber Ärzten bei der Identifizierung von „Cannot-miss-Diagnosen“ zeigte – Zuständen, deren Übersehen lebensbedrohlich ist. Das Modell erstellt brillant eine breite Differentialdiagnose, ist aber nicht besser als ein Mensch darin, die primäre Bedrohung zu identifizieren. Dies ist kein kleiner Vorbehalt, sondern ein zentrales Ergebnis für die Sicherheitsbewertung.
Die Methodik ist beeindruckend: Die vom Modell und von Ärzten generierten Diagnosen wurden von zwei zusätzlichen Spezialisten bewertet, die nicht wussten, ob sie eine menschliche oder maschinelle Antwort analysierten. Die Verblindung funktionierte: Die Gutachter identifizierten die Quelle nur in 15 % bzw. 3 % der Fälle korrekt. Mit anderen Worten: Die Texte von o1 sind klinisch nicht von denen eines kompetenten Arztes zu unterscheiden.
Zeitstrahl und Kontext: Das Rennen um Bewertungsmethoden
Die Studie entstand nicht im luftleeren Raum. Bereits in den 1950er Jahren schlugen Ledley und Lusted fallbasierte Benchmarks als Standard für die Bewertung medizinischer Computersysteme vor. Seitdem dienen die klinisch-pathologischen Konferenzen des NEJM als Goldstandard: Jede Generation von Differentialdiagnose-Generatoren wurde an diesen Fällen getestet.
Bis 2024 waren maschinelle Lernmodelle für die Diagnose so schwach, dass ein Vergleich mit Ärzten sinnlos war. Die Situation änderte sich mit dem Aufkommen von GPT-4, das sich bei einigen Aufgaben dem menschlichen Niveau annäherte. o1-preview wurde das erste Reasoning-Modell, das in vollem Umfang blind gegen Ärzte verschiedener Ausbildungsstufen getestet wurde.
Grundlegend neu in Broders Design ist die Verwendung echter Notaufnahmeaufzeichnungen anstelle von bereinigten Vignetten. Dies adressiert die Hauptkritik an früheren Arbeiten: Trainingsfälle sind sauber strukturiert, während reale klinische Informationen chaotisch, redundant und fehlerbehaftet sind. Das sechste Experiment bewies, dass das Modell Signale aus Rauschen ebenso gut extrahieren kann wie ein erfahrener Kliniker.
Wer gewinnt und wer verliert
Diejenigen, die auf den „augmentierten Arzt“ statt auf den „ersetzenden Arzt“ setzen, gewinnen. OpenAI erhält eine Validierung seiner Reasoning-Architektur im anspruchsvollsten Bereich – der Medizin. Dies stärkt die Position des Unternehmens in Verhandlungen mit Krankenhausnetzwerken und Versicherern. Die Harvard Medical School und das BIDMC festigen ihren Status als Zentren für die klinische KI-Bewertung: Eine Veröffentlichung in Science mit transparenter Methodik schafft eine Vorlage, die andere replizieren werden.
Entwickler von klinischen Entscheidungsunterstützungssystemen der vorherigen Generation – Symptom-Checker basierend auf Bayes’schen Netzen und Regeln – sind endgültig überholt. Auch Startups, die „KI-Ärzte“ als eigenständige Einheiten verkaufen, verlieren: Broders Studie zeigt deutlich, dass das Modell ohne einen Arzt genau an kritischen Punkten unsicher ist.
Was die Medien nicht sagen
Der erste nicht offensichtliche Punkt ist der Interessenkonflikt. Adam Rodman, einer der Co-Autoren, ist Gastforscher bei Google DeepMind, und Eric Horvitz ist Microsoft-Mitarbeiter. Dies beeinträchtigt die Daten nicht, erklärt aber, warum sich die Studie auf die Fähigkeiten des Modells konzentriert und nicht auf die Risiken seines Einsatzes.
Der zweite Punkt ist die textuelle Einschränkung des Modells. o1 hat keinen Zugang zu Bildern, körperlichen Untersuchungsdaten oder auditiven Informationen. In der Notfallmedizin sind das Erscheinungsbild, der Geruch und die Atemgeräusche des Patienten kritische Signale. Ein Modell, das nur mit Text arbeitet, ist grundlegend eingeschränkt.
Der dritte und wichtigste Aspekt ist die regulatorische Lücke. Zeitgleich mit der Veröffentlichung in Science veröffentlichte die Zeitschrift Nature Medicine zwei Artikel, die fordern, dass medizinische KI Verbesserungen der klinischen Ergebnisse nachweisen muss, nicht nur Genauigkeit bei Benchmarks. Dieser Zeitpunkt ist kein Zufall: Die KI-Forschungsgemeinschaft erkennt an, dass die meisten eingesetzten Systeme keinen echten Nutzen für Patienten nachgewiesen haben.
Prognose: Die nächsten 30 und 90 Tage
In den nächsten 30 Tagen erwarte ich, dass mindestens ein großes US-Krankenhausnetzwerk – wahrscheinlich Mass General Brigham – Pläne für eine prospektive Studie von o1 als „Second-Opinion“-Tool in der Notaufnahme ankündigen wird. Dies wird keine RCT sein, sondern eine Beobachtungsstudie, die die Übereinstimmung zwischen den Diagnosen des Modells und der endgültigen Entlassungsdiagnose bewertet.
Im 90-Tage-Ausblick wird die FDA ein Diskussionspapier zum Status von LLMs als klinische Entscheidungsunterstützungssoftware veröffentlichen. Die Kernfrage: Wenn das Modell Ärzte bei der Identifizierung von Cannot-miss-Diagnosen nicht übertrifft, kann es für den autonomen Einsatz zugelassen werden? Die Antwort wird mit ziemlicher Sicherheit negativ ausfallen, was den Markt für „KI-Diagnostiker“ abkühlt, aber die Entwicklung von Human-in-the-Loop-Systemen beschleunigt.
Die Hauptprognose: Broders Studie wird ein Präzedenzfall, der den Standard für die Bewertung medizinischer KI verändert. Von nun an reicht es nicht mehr, Genauigkeit bei einem Benchmark zu zeigen – ein blinder Vergleich mit Ärzten anhand realer Daten und eine obligatorische Sicherheitsanalyse an kritischen Punkten sind erforderlich. Startups, die nicht bereit für dieses Validierungsniveau sind, werden innerhalb von 12 Monaten den Zugang zu Risikokapital verlieren. Dies ist keine Krise, sondern eine Marktreifung: Die Medizin verlangt nicht nur Genauigkeit, sondern nachweisbare Sicherheit.
— Editorial Team
