OpenAI o1 przewyższył lekarzy w stawianiu diagnoz na podstawie danych z izby przyjęć
Zgodnie z publikacją w Science, model AI o1-preview osiągnął dokładność 78,3% w najtrudniejszych przypadkach z NEJM, przewyższając żywych lekarzy i poprzednie wersje GPT-4. Największa różnica na korzyść AI wystąpiła na etapie segregacji w izbie przyjęć, gdy dostępnych informacji o pacjencie jest najmniej.
Choć nagłówki krzyczą „AI przewyższyło lekarzy w izbie przyjęć”, prawdziwa historia jest bardziej subtelna i niepokojąca. 29 kwietnia 2026 roku czasopismo Science opublikowało badanie, które tak naprawdę nie dotyczy zwycięstwa algorytmu, ale przełomu w metodologii badań medycznych nad AI. Zespół pod kierownictwem Petera Brodera z Beth Israel Deaconess Medical Center i Harvard Medical School po raz pierwszy przeprowadził ślepe porównanie modelu OpenAI o1 z żywymi lekarzami nie na edukacyjnych winietach, ale na rzeczywistych, nieustrukturyzowanych danych z oddziału ratunkowego – i jednocześnie wykazał, że model zawodzi właśnie tam, gdzie stawka jest najwyższa.
Istota: nie zastąpienie lekarza, ale przedefiniowanie standardu dowodów
Badanie składało się z sześciu eksperymentów. Pięć wykorzystywało ustrukturyzowane przypadki kliniczne, szósty – 76 rzeczywistych przypadków z izby przyjęć Beth Israel Deaconess Medical Center w Bostonie. Na wszystkich etapach model o1 osiągnął wyniki przewyższające lekarzy: na etapie segregacji dokładność diagnozy różnicowej wyniosła 67,1% wobec 55,3% i 50,0% u dwóch lekarzy prowadzących. Różnica była największa właśnie w momencie minimalnej informacji – przy pierwszym kontakcie z pacjentem.
Ale kluczowy wniosek z badania ukryty jest w szczegółach. Autorzy podkreślają: o1-preview nie wykazał statystycznie istotnej przewagi nad lekarzami w wykrywaniu „cannot-miss diagnoses” – stanów, których przeoczenie jest śmiertelnie niebezpieczne. Model doskonale generuje szeroką listę różnicową, ale nie lepiej niż człowiek identyfikuje główne zagrożenie. To nie jest drugorzędne zastrzeżenie, ale centralny wynik dla oceny bezpieczeństwa.
Metodologia robi wrażenie: diagnozy wygenerowane przez model i lekarzy były oceniane przez dwóch dodatkowych specjalistów, którzy nie wiedzieli, czyją odpowiedź analizują – człowieka czy maszyny. Zaślepienie zadziałało: recenzenci poprawnie zidentyfikowali źródło tylko w 15% i 3% przypadków. Innymi słowy, teksty o1 są klinicznie nieodróżnialne od napisanych przez kompetentnego lekarza.
Chronologia i kontekst: wyścig metod oceny
Badanie nie pojawiło się w próżni. Już w latach 50. XX wieku Ledley i Lusted zaproponowali case-based benchmarks jako standard oceny medycznych systemów obliczeniowych. Od tego czasu kliniczno-patologiczne konferencje NEJM służyły jako złoty standard: każde pokolenie generatorów diagnoz różnicowych było testowane na tych przypadkach.
Do 2024 roku modele uczenia maszynowego do diagnostyki były tak słabe, że porównanie z lekarzami nie miało sensu. Sytuacja zmieniła się wraz z pojawieniem się GPT-4, który w wielu zadaniach zaczął zbliżać się do ludzkiego poziomu. o1-preview stał się pierwszym modelem reasoning, który przeszedł pełnowymiarowe ślepe testy przeciwko lekarzom o różnym poziomie doświadczenia.
Zasadniczo nowe w projekcie Brodera jest wykorzystanie rzeczywistych zapisów z izby przyjęć, a nie oczyszczonych winiet. To odpowiedź na główną krytykę wcześniejszych prac: przypadki edukacyjne są starannie ustrukturyzowane, podczas gdy rzeczywiste informacje kliniczne są chaotyczne, nadmiarowe i zawierają błędy. Szósty eksperyment udowodnił: model potrafi wydobywać sygnał z szumu nie gorzej niż doświadczony klinicysta.
Kto wygrywa, a kto przegrywa
Wygrywają ci, którzy stawiają na „wzmocnionego lekarza”, a nie na „zastąpienie lekarza”. OpenAI otrzymuje walidację swojej architektury reasoning w najbardziej wymagającej dziedzinie – medycynie. To wzmacnia pozycję firmy w negocjacjach z sieciami szpitalnymi i ubezpieczycielami. Harvard Medical School i BIDMC umacniają status centrum oceny klinicznego AI: publikacja w Science z przejrzystą metodologią tworzy szablon, który będą powielać inni.
Przegrywają twórcy systemów wspomagania decyzji klinicznych poprzedniej generacji – symptom-checkery oparte na sieciach bayesowskich i regułach ostatecznie się zestarzały. Przegrywają również startupy, które sprzedają „AI-doktora” jako samodzielny byt: badanie Brodera wyraźnie pokazuje, że model nie jest bezpieczny bez lekarza właśnie w krytycznych punktach.
Czego media nie dopowiadają
Pierwsza nieoczywista kwestia – konflikt interesów. Adam Rodman, jeden ze współautorów, jest wizytującym badaczem w Google DeepMind, a Eric Horwitz – pracownikiem Microsoftu. To nie dyskredytuje danych, ale wyjaśnia, dlaczego badanie skupia się na możliwościach modelu, a nie na ryzykach jego wdrożenia.
Druga kwestia – ograniczenie modelu do tekstu. o1 nie ma dostępu do obrazów, danych fizykalnych, informacji słuchowych. W medycynie ratunkowej wygląd pacjenta, zapach, dźwięk oddechu to krytyczne sygnały. Model działający tylko na tekście jest zasadniczo ograniczony.
Trzeci i najważniejszy aspekt – luka regulacyjna. Równolegle z publikacją w Science, czasopismo Nature Medicine opublikowało dwa artykuły wymagające od medycznego AI dowodów poprawy wyników klinicznych, a nie tylko dokładności na benchmarkach. Ta zbieżność w czasie nie jest przypadkowa: społeczność badaczy AI przyznaje, że większość wdrożonych systemów nie udowodniła realnej korzyści dla pacjentów.
Prognoza: następne 30 dni i 90 dni
W ciągu najbliższych 30 dni spodziewam się, że co najmniej jedna duża sieć szpitalna w USA – prawdopodobnie Mass General Brigham – ogłosi plany prospektywnego badania o1 jako narzędzia „drugiej opinii” w izbie przyjęć. Nie będzie to RCT, ale badanie obserwacyjne z oceną zgodności między diagnozami modelu a ostateczną diagnozą przy wypisie.
W perspektywie 90 dni FDA opublikuje discussion paper dotyczący statusu LLM jako oprogramowania wspomagającego decyzje kliniczne. Kluczowe pytanie: jeśli model nie przewyższa lekarza w wykrywaniu cannot-miss diagnoses, czy może być zatwierdzony do samodzielnego użytku? Odpowiedź prawie na pewno będzie negatywna, co ochłodzi rynek „AI-diagnostów”, ale przyspieszy rozwój systemów human-in-the-loop.
Główna prognoza: badanie Brodera stanie się precedensem, który zmieni standard oceny medycznego AI. Odtąd nie wystarczy pokazać dokładności na benchmarku – potrzebne jest ślepe porównanie z lekarzami na rzeczywistych danych i obowiązkowa analiza bezpieczeństwa w krytycznych punktach. Startupy niegotowe na taki poziom walidacji stracą dostęp do kapitału venture w ciągu 12 miesięcy. To nie kryzys, ale dojrzewanie rynku: medycyna wymaga nie tylko dokładności, ale i udowodnionego bezpieczeństwa.
— Editorial Team
