Duże modele językowe przewyższają lekarzy w diagnostyce na etapie triażu w opiece doraźnej
Nowe badanie z udziałem Harvardu i Stanforda wykazało, że wstępna wersja modelu OpenAI o1 znacząco przewyższyła lekarzy w stawianiu diagnoz na podstawie ograniczonych danych z izby przyjęć. Największą różnicę w dokładności zaobserwowano przy minimalnej dostępnej informacji.
Od kilku dni obserwuję, jak środowisko medyczne i branża IT kipią od wiadomości opublikowanej w Science. Harvard i Stanford ponownie rzuciły rękawicę: ich wspólne badanie wykazało, że duży model językowy OpenAI o1-preview stawia diagnozy dokładniej niż lekarze. Szczególnie na etapie triażu w izbie przyjęć, gdzie informacji jest minimum, a cena błędu to życie.
Ale doniesienia prasowe, jak zwykle, ślizgają się po powierzchni. Odnotowują fakt „zwycięstwa maszyny”, ale pomijają tektoniczne przesunięcia, które to zwycięstwo uruchamia w prawie medycznym, finansach szpitali i hierarchii lekarskiej. Jako osoba doradzająca startupom medtech, widzę za wykresami dokładności nie triumf technologii, ale początek końca ery „klinicznej intuicji” jako argumentu prawnego.
[Sedno]: co naprawdę się dzieje
Formalnie mówimy o liczbach: 67,1% dokładności u AI wobec 55,3% i 50% u żywych lekarzy na etapie triażu. Ale sedno nie leży w liczbach. Sedno w tym, że AI po raz pierwszy pokonało człowieka nie w „sterylnych” zadaniach na znajomość podręczników, ale na „brudnych” danych z rzeczywistej praktyki – nieustrukturyzowanych zapisach z elektronicznej dokumentacji medycznej (EHR).
Oznacza to, że model nauczył się wyłuskiwać sygnał z szumu, który sami tworzą lekarze (chaotyczne notatki, literówki, sprzeczne dane). Wcześniej sądziliśmy, że AI trzeba „karmić” idealnie oznakowanymi zbiorami danych. Okazało się, że surowy chaos prawdziwego szpitala jest wystarczającym pożywką. o1-preview działa jak idealny rezydent, który czyta całą historię choroby w sekundę i nie cierpi na zniekształcenia poznawcze po ciężkiej nocnej zmianie.
Chronologia i kontekst
To nie grom z jasnego nieba. To metodyczne oblężenie, które trwa od 1959 roku, kiedy komputery po raz pierwszy zaczęto testować w zadaniach diagnostyki klinicznej.
- 2021–2024: Modele takie jak GPT-4 już deptały po piętach lekarzom w zadaniach klinicznego myślenia (Managing Reasoning), ale wtedy porównywano je z podręcznikami w stylu Google, a AI wygrywało miażdżąco (89% vs 34%).
- 2025: OpenAI wypuszcza linię o1 z „łańcuchem rozumowania”. To przełom: model przestał zgadywać następny token i zaczął imitować tok myślenia diagnosty – wątpić, rozważać hipotezy, weryfikować się.
- Kwiecień-maj 2026: Publikacja w Science i zakrojone na szeroką skalę testy w Beth Israel Deaconess. Różnica stała się statystycznie niepodważalna. I co najbardziej niepokojące dla zawodu – recenzenci oceniający teksty diagnoz w 83,6% i 94,4% przypadków nie potrafili odróżnić, gdzie wnioski napisał lekarz, a gdzie maszyna.
Kto wygrywa, a kto przegrywa
Przegrywa – lekarz klinicysta starej szkoły. To nie przenośnia. Badanie wykazało, że różnica w jakości jest szczególnie duża w „management reasoning” – wyborze strategii postępowania, antybiotyków, celów leczenia. Wcześniej uważano to za wyższy pilotaż, połączenie doświadczenia i subiektywnego osądu. Teraz to algorytm.
Wygrywa – średni personel medyczny. Najbardziej niedoceniany beneficjent. Pielęgniarki na izbie przyjęć często intuicyjnie czują, że pacjent jest „ciężki”, ale nie mają wystarczającej siły przebicia, by spierać się z lekarzem. Teraz mają w ręku narzędzie, które formalnie stawia diagnozę dokładniej niż doktor w 67% przypadków. To broń w walce o władzę na oddziale. Model zmniejsza niepokój: jeśli wcześniej personel bał się, że AI ich zastąpi, to po rzeczywistym wdrożeniu ten strach maleje – ponieważ staje się jasne, że AI wymaga ludzkiej kontroli i interpretacji.
Przegrywa – branża ubezpieczeniowa w obecnej formie. Jeśli AI na etapie triażu może z wysoką dokładnością przewidzieć konieczność hospitalizacji, to niszczy to model biznesowy wielu amerykańskich firm ubezpieczeniowych, które zarabiają na odmowach pokrycia kosztów „nieuzasadnionych” hospitalizacji. Odmowa pokrycia, gdy algorytm przewyższający lekarza zalecił hospitalizację, będzie samobójstwem prawnym.
Czego media nie dopowiadają
Wszystkie lukrowane artykuły pominęły problem „diagnoz, których nie można przeoczyć” (cannot-miss diagnoses). To sekret znany tylko uważnym czytelnikom czasopism naukowych.
W tych samych eksperymentach, w których AI błyszczało dokładnością, nie wykazało statystycznie istotnej przewagi nad lekarzami w wykrywaniu stanów zagrażających życiu. Model świetnie generuje szeroki zakres różnicowy, widzi rzadkie choroby, ale gdy chodzi o klasyczną „maskę” zawału czy sepsy, lekarze radzą sobie nie gorzej. AI nie tyle ratuje przed katastrofami, co zapobiega „diagnostycznemu błądzeniu” w skomplikowanych i rzadkich przypadkach. Ale dla PR technologii korzystniej jest pokazywać ogólny uśredniony procent dokładności, niż przyznawać, że w krytycznym bezpieczeństwie różnicy prawie nie ma. To kluczowy niuans, który będzie wypływał w procesach sądowych przeciwko szpitalom ślepo ufającym algorytmowi.
Prognoza: następne 30 dni i 90 dni
Następne 30 dni. Zobaczymy falę oświadczeń od dyrektorów najwyższego szczebla dużych sieci szpitalnych w USA o „partnerstwie”, a nie o zastąpieniu. Nikt nie chce konfliktu ze stowarzyszeniami lekarskimi. Ale działy prawne szpitali już zaczęły przepisywać protokoły. Wdrożenie AI jako „drugiej opinii” stanie się obowiązkowe nie dla wygody, ale dla zmniejszenia ryzyka malpractice. Jeśli AI jest dostępne, a lekarz postawił błędną diagnozę na etapie izby przyjęć, będzie to uznane za zaniedbanie. Argument „nie wiedziałem” znika.
90 dni. Tutaj zaczyna się gra na wyniszczenie. Badanie przeprowadzono na wstępnej wersji o1-preview, która już jest moralnie przestarzała. OpenAI wypuściło o3, który jest o klasę lepszy. Różnica w dokładności wzrośnie z obecnych ~12% do 20–25%. To sprowokuje pierwszy poważny kryzys.
Ponadto spotkamy się z „efektem Lejdy”. W Holandii próba wdrożenia narzędzia ML w rzeczywistej pracy izby przyjęć nie powiodła się nie z powodu dokładności, ale z powodu braku integracji z EHR i jasnych protokołów postępowania na sygnał AI. Administratorzy zrozumieją, że zakup subskrypcji OpenAI to tylko 1% problemu. Główne 50 milionów dolarów (lub więcej) trzeba będzie wydać na przebudowę infrastruktury IT szpitali, która obecnie jest patchworkiem oprogramowania z lat 90-tych. Bez tego każdy, nawet najmądrzejszy AI, pozostanie tylko ładnym demem na konferencji TED, a nie narzędziem ratującym życie.
— Editorial Team
