대형 언어 모델, 응급실 분류 진단에서 의사 능가
하버드와 스탠포드가 참여한 새로운 연구에서 OpenAI의 o1 모델 프리뷰 버전이 제한된 응급실 데이터를 기반으로 한 진단에서 의사보다 훨씬 뛰어난 성능을 보였습니다. 가장 큰 정확도 차이는 정보가 가장 적을 때 정확히 관찰되었습니다.
며칠째 의료계와 IT 업계가 사이언스에 발표된 연구로 떠들썩합니다. 하버드와 스탠포드가 다시 한번 장갑을 던졌습니다. 공동 연구에 따르면 OpenAI의 o1-preview 대형 언어 모델이 의사보다 더 정확하게 진단합니다. 특히 정보가 최소이고 실수 대가가 생명인 응급실 분류 상황에서 두드러집니다.
하지만 뉴스 요약은 늘 그렇듯 표면만 스치고 갑니다. '하드웨어의 승리'라는 사실만 보도할 뿐, 이 승리가 의료법, 병원 재정, 의사 계층 구조에 촉발하는 지각 변동은 놓칩니다. 헬스테크 스타트업을 자문하는 사람으로서 저는 정확도 그래프 뒤에서 기술의 승리가 아니라 '임상적 직관'을 법적 논증으로 사용하는 시대의 종말을 봅니다.
[핵심]: 실제로 무슨 일이 일어나고 있는가
공식적으로는 숫자에 관한 이야기입니다: 분류 단계에서 AI 67.1% 대 실제 의사 55.3% 및 50%. 하지만 요점은 숫자가 아닙니다. 요점은 AI가 '살균된' 교과서 지식 과제가 아니라 '지저분한' 실제 데이터, 즉 전자 건강 기록(EHR)의 비정형 메모에서 인간을 이겼다는 것입니다.
이는 모델이 의사 스스로 만든 노이즈(혼란스러운 메모, 오타, 모순된 데이터)에서 신호를 추출하는 법을 배웠음을 의미합니다. 우리는 AI가 완벽하게 레이블된 데이터셋이 필요하다고 생각했습니다. 알고 보니 실제 병원의 원시적 혼란이 충분한 영양 배지였습니다. o1-preview는 1초 만에 전체 병력을 읽고 힘든 야간 근무 후 인지 편향에 시달리지 않는 이상적인 레지던트처럼 작동합니다.
타임라인과 맥락
이것은 갑작스러운 일이 아닙니다. 1959년 컴퓨터가 처음으로 임상 진단 작업에 테스트되었을 때 시작된 체계적인 포위 공격입니다.
- 2021–2024: GPT-4와 같은 모델은 이미 임상 추론 작업(Managing Reasoning)에서 의사를 바짝 추격하고 있었지만, 당시에는 Google과 같은 참조 도구와 비교되었고 AI가 압도적으로 승리했습니다(89% 대 34%).
- 2025: OpenAI는 '사고 사슬'을 갖춘 o1 라인을 출시합니다. 이것은 전환점입니다. 모델이 다음 토큰을 추측하는 것을 멈추고 진단 전문가의 사고 과정(의심, 가설 고려, 자체 확인)을 모방하기 시작했습니다.
- 2026년 4~5월: 사이언스 게재 및 Beth Israel Deaconess에서 대규모 테스트. 격차가 통계적으로 부인할 수 없게 되었습니다. 그리고 직업에 가장 문제가 되는 점: 진단 텍스트를 평가한 검토자들은 83.6%와 94.4%의 경우에서 결론이 의사에 의해 작성되었는지 기계에 의해 작성되었는지 구분할 수 없었습니다.
누가 이기고 누가 지는가
패자: 구식 임상의. 이는 비유가 아닙니다. 연구에 따르면 품질 격차는 특히 '관리 추론', 즉 치료 전략, 항생제, 치료 목표 선택에서 큽니다. 이것은 한때 경험과 주관적 판단을 결합한 기술의 정점으로 여겨졌습니다. 이제는 알고리즘입니다.
승자: 중간 수준 의료진. 가장 과소평가된 수혜자입니다. 응급실 간호사는 종종 환자가 '위중하다'고 직감하지만 의사에게 이의를 제기할 권한이 없습니다. 이제 그들은 67%의 경우에서 의사보다 공식적으로 더 정확하게 진단하는 도구를 갖게 되었습니다. 이것은 부서 내 권력 투쟁에서 무기입니다. 모델은 불안을 줄입니다. 직원들이 한때 AI가 자신을 대체할까 두려워했다면, 실제 구현 후에는 그 두려움이 줄어듭니다. AI가 인간의 감독과 해석을 필요로 한다는 것이 분명해지기 때문입니다.
패자: 현재 형태의 보험 업계. AI가 분류 시 입원 필요성을 높은 정확도로 예측할 수 있다면, '정당하지 않은' 입원에 대한 지급을 거부함으로써 이익을 얻는 많은 미국 보험사의 비즈니스 모델을 훼손합니다. 의사보다 우수한 알고리즘이 입원을 권장했을 때 보장을 거부하는 것은 법적으로 자살 행위일 것입니다.
언론이 놓치는 것
모든 화려한 기사는 '놓쳐서는 안 될 진단' 문제를 피했습니다. 이것은 과학 저널의 주의 깊은 독자만 아는 비밀입니다.
AI가 정확도에서 빛난 바로 그 실험에서, 생명을 위협하는 상태를 식별하는 데 있어 의사보다 통계적으로 유의미한 우월성을 보이지 않았습니다. 모델은 광범위한 감별 진단을 생성하는 데 뛰어나고 희귀 질환을 찾아내지만, 심장마비나 패혈증의 전형적인 '가면'에 관해서는 의사도 동등하게 잘합니다. AI는 재앙을 예방하기보다는 복잡하고 희귀한 경우에서 '진단 방황'을 방지합니다. 하지만 홍보 목적으로는 안전에 거의 차이가 없다는 점을 인정하기보다 전체 평균 정확도 백분율을 보여주는 것이 더 유리합니다. 이것은 알고리즘을 맹목적으로 신뢰하는 병원을 상대로 한 소송에서 표면화될 중요한 뉘앙스입니다.
예측: 향후 30일 및 90일
향후 30일. 주요 미국 병원 체인의 C레벨 임원들이 '파트너십'을 강조하고 대체는 아니라고 말하는 성명이 쏟아질 것입니다. 아무도 의사 협회와 갈등을 원하지 않습니다. 하지만 병원 법무 부서는 이미 프로토콜을 다시 작성하기 시작했습니다. '두 번째 의견'으로서 AI 구현은 편의를 위한 것이 아니라 의료 과실 위험을 줄이기 위해 필수가 될 것입니다. AI를 사용할 수 있는데 의사가 분류에서 잘못된 진단을 내리면 과실로 간주됩니다. '몰랐다'는 주장은 사라집니다.
90일. 여기서부터 녹아웃 게임이 시작됩니다. 연구는 이미 구식인 o1-preview 프리뷰 버전으로 수행되었습니다. OpenAI는 훨씬 뛰어난 o3를 출시했습니다. 정확도 격차는 현재 약 12%에서 20~25%로 벌어질 것입니다. 이는 첫 번째 심각한 위기를 촉발할 것입니다.
또한 '라이덴 효과'에 직면할 것입니다. 네덜란드에서 실제 응급실 업무에 ML 도구를 도입하려는 시도는 정확도 부족이 아니라 EHR 통합 및 AI 신호에 대한 명확한 조치 프로토콜 부족으로 실패했습니다. 관리자들은 OpenAI 구독을 구매하는 것이 문제의 1%에 불과하다는 것을 깨닫게 될 것입니다. 주요 5천만 달러(또는 그 이상)는 현재 90년대 소프트웨어의 패치워크인 병원 IT 인프라를 개조하는 데 지출되어야 합니다. 그것 없이는 아무리 똑똑한 AI도 TED 컨퍼런스의 예쁜 데모에 불과할 뿐 생명을 구하는 도구가 아닙니다.
— Editorial Team
