Velké jazykové modely překonávají lékaře v diagnostice při třídění na urgentním příjmu
Nová studie s účastí Harvardu a Stanfordu ukázala, že předběžná verze modelu OpenAI o1 výrazně překonala lékaře v diagnostice na základě omezených dat z příjmového oddělení. Největší rozdíl v přesnosti byl pozorován právě při minimální dostupné informaci.
Už několik dní sleduji, jak lékařská komunita a IT průmysl kypí ze zprávy publikované v Science. Harvard a Stanford znovu hodily rukavici: jejich společný výzkum ukázal, že velký jazykový model OpenAI o1-preview stanovuje diagnózy přesněji než lékaři. Zejména ve fázi třídění na urgentním příjmu, kde je informací minimum a cena chyby je život.
Ale zpravodajské souhrny jako obvykle kloužou po povrchu. Zaznamenávají fakt „vítězství hardwaru“, ale opomíjejí tektonické posuny, které toto vítězství spouští v lékařském právu, financích nemocnic a lékařské hierarchii. Jako člověk, který konzultuje medtech startupy, vidím za grafy přesnosti nikoli triumf technologie, ale začátek konce éry „klinické intuice“ jako právního argumentu.
[Podstata]: co se skutečně děje
Formálně mluvíme o číslech: 67,1% přesnost u AI oproti 55,3% a 50% u živých lékařů ve fázi triage. Ale podstata není v číslech. Podstata je v tom, že AI poprvé porazila člověka ne v „sterilních“ úlohách na znalost učebnic, ale na „špinavých“ datech z reálné praxe – nestrukturovaných záznamech z elektronických zdravotních záznamů (EHR).
To znamená, že se model naučil extrahovat signál ze šumu, který vytvářejí sami lékaři (zmatené záznamy, překlepy, protichůdná data). Dříve jsme si mysleli, že AI je třeba „krmit“ perfektně označenými datasety. Ukázalo se, že syrový chaos skutečné nemocnice je dostatečné živné prostředí. o1-preview funguje jako ideální sekundární lékař, který přečte celou anamnézu za vteřinu a netrpí kognitivními zkresleními po těžké noční směně.
Chronologie a kontext
Toto není hrom z čistého nebe. Je to metodické obléhání, které probíhá od roku 1959, kdy byly počítače poprvé testovány na úlohách klinické diagnostiky.
- 2021–2024: Modely jako GPT-4 již šlapaly na paty lékařům v úlohách klinického uvažování (Managing Reasoning), ale tehdy byly srovnávány s příručkami jako Google a AI vítězila drtivým skóre (89 % proti 34 %).
- 2025: OpenAI vydává řadu o1 s „řetězcem úvah“. To je zlom: model přestal hádat další token a začal napodobovat myšlenkový postup diagnostika – pochybovat, procházet hypotézy, kontrolovat se.
- Duben–květen 2026: Publikace v Science a rozsáhlé testy v Beth Israel Deaconess. Rozdíl se stal statisticky nepopiratelným. A co je pro profesi nejvíce znepokojivé – recenzenti, kteří hodnotili texty diagnóz, v 83,6 % a 94,4 % případů nedokázali rozlišit, zda závěr napsal lékař nebo stroj.
Kdo vyhrává a kdo prohrává
Prohrává – lékař-klinik staré školy. To není řečnická figura. Studie zaznamenala, že rozdíl v kvalitě je obzvláště velký v „management reasoning“ – volbě taktiky vedení, antibiotik, cílů léčby. Dříve to bylo považováno za vrcholné umění, kombinaci zkušeností a subjektivního úsudku. Nyní je to algoritmus.
Vyhrává – střední zdravotnický personál. Nejpřehlíženější příjemce. Sestry na urgentním příjmu často intuitivně cítí, že pacient je „těžký“, ale nemají dostatečnou váhu, aby se přely s lékařem. Nyní mají v rukou nástroj, který formálně stanovuje diagnózu přesněji než doktor v 67 % případů. To je zbraň v boji o moc uvnitř oddělení. Model snižuje úzkost: pokud se dříve personál bál, že je AI nahradí, po skutečném zavedení tento strach klesá – protože je jasné, že AI vyžaduje lidskou kontrolu a interpretaci.
Prohrává – pojišťovací průmysl v současné podobě. Pokud AI dokáže ve fázi triage s vysokou přesností předpovědět nutnost hospitalizace, boří to obchodní model mnoha amerických pojišťoven, které vydělávají na odmítání úhrady „neodůvodněných“ hospitalizací. Odmítnout krytí, když algoritmus převyšující lékaře doporučil hospitalizaci, by bylo právně sebevražedné.
Co média neříkají
Všechny lesklé články se vyhnuly problému „nepřehlédnutelných diagnóz“ (cannot-miss diagnoses). To je tajemství, které znají jen pozorní čtenáři vědeckých časopisů.
Ve stejných experimentech, kde AI zářila přesností, neprokázala statisticky významnou převahu nad lékaři v identifikaci život ohrožujících stavů. Model skvěle generuje široký diferenciální rozsah, vidí vzácná onemocnění, ale pokud jde o klasickou „masku“ infarktu nebo sepse, lékaři si vedou stejně dobře. AI ani tak nezachraňuje před katastrofami, jako spíše zabraňuje „diagnostickému bloudění“ u složitých a vzácných případů. Ale pro PR technologie je výhodnější ukazovat obecný průměrný procentuální podíl přesnosti, než přiznat, že v kritické bezpečnosti není téměř žádný rozdíl. To je zásadní nuance, která bude vyplouvat na povrch v soudních sporech proti nemocnicím, které slepě důvěřovaly algoritmu.
Prognóza: následujících 30 dní a 90 dní
Následujících 30 dní. Uvidíme vlnu prohlášení od C-level manažerů velkých nemocničních sítí v USA o „partnerství“, nikoli o náhradě. Nikdo nechce konflikt s lékařskými asociacemi. Ale právní oddělení nemocnic již začala přepisovat protokoly. Zavedení AI jako „druhého názoru“ se stane povinným ne pro pohodlí, ale pro snížení rizik malpractice. Pokud je AI k dispozici a lékař stanovil nesprávnou diagnózu na urgentním příjmu, bude to považováno za nedbalost. Argument „nevěděl jsem“ mizí.
90 dní. Zde začíná hra na vypadnutí. Studie byla provedena na předběžné verzi o1-preview, která je již morálně zastaralá. OpenAI vydala o3, který je o hlavu výš. Rozdíl v přesnosti vzroste ze současných ~12 % na 20–25 %. To vyvolá první vážnou krizi.
Kromě toho se setkáme s „Leidenským efektem“. V Nizozemsku se pokus o zavedení ML nástroje do reálného provozu urgentního příjmu nezdařil ne kvůli přesnosti, ale kvůli absenci integrace do EHR a jasných protokolů pro akci na základě signálu AI. Administrátoři pochopí, že nákup předplatného OpenAI je jen 1 % problému. Hlavních 50 milionů dolarů (nebo více) bude muset být vynaloženo na přestavbu IT infrastruktury nemocnic, která v současnosti představuje patchworkový quilt softwaru z 90. let. Bez toho zůstane jakákoli nejchytřejší AI jen pěkným demem na konferenci TED, nikoli nástrojem na záchranu životů.
— Editorial Team
