대형 언어 모델(LLM)은 영상의학과 진단의 미래인가? – 다기관 평가를 중심으로 본 가능성과 한계

- 8월 01, 2025

대형 언어 모델(LLM)은 영상의학과 진단의 미래인가? – 다기관 평가를 중심으로 본 가능성과 한계

서론

최근 ChatGPT를 포함한 대형 언어 모델(Large Language Models, 이하 LLM)이 의료 분야로 급속히 확장되고 있다. 특히 진단의 정확성과 속도가 생명과 직결되는 영상의학 분야에서 LLM의 활용은 ‘혁신’이 아닌 ‘현실적 가능성’으로 다가오고 있다. 이에 대해 미국의 저명한 의학 저널인 NEJM AI는 2024년 7월, 흥미로운 다기관 연구 결과를 발표했다[1]. 이 연구는 GPT-4 기반 LLM이 실제 영상의학 임상 상황에서 의사결정에 얼마나 정확하고 유용한지를 종합적으로 분석한 최초의 대규모 다기관 평가로 주목받고 있다.

본 컬럼에서는 이 연구의 핵심 내용을 중심으로, LLM이 영상의학 진료에서 어떤 역할을 할 수 있으며 그 한계와 미래 전망은 어떤지를 세계적인 전문가 수준에서 심층적으로 분석한다.

본론

1. 대형 언어 모델(LLM)의 도입 배경

영상의학은 방대한 임상 정보, 방사선 이미지, 환자의 과거 병력, 검사 결과 등을 통합하여 판단해야 하는 고도의 전문 영역이다. 이 과정에서 발생하는 수많은 임상 의사결정 포인트는 AI, 특히 LLM의 자연어 처리 능력과 잘 맞아떨어진다.

GPT-4와 같은 최신 모델은 의학 지식뿐만 아니라 맥락 이해력, 논리적 추론, 임상적 유사사례 기반 판단 능력을 모두 갖추고 있어, 임상 의사와 상호작용하거나 판단을 보조할 수 있는 가능성이 높다.

2. NEJM AI 다기관 연구의 개요

이번 연구[1]은 미국 5개 의료기관(Stanford, Massachusetts General, Duke 등)의 15명 이상 영상의학 전문의가 참여한 다기관 블라인드 평가 방식으로 진행되었다.
총 321건의 실제 환자 사례에 대해, GPT-4 기반 LLM이 임상 의사결정에 대해 내린 판단을 전문가의 평가와 비교하는 방식이었다.

평가 항목은 다음과 같다.

적절한 영상의학 검사 선택 (AUC 가이드라인 기반)
방사선 판독 소견에 대한 임상 해석
후속 조치(recommendation)의 적절성

3. 주요 결과 및 해석

그림 1. 연구 개요 및 결과 요약

그림 1. 다기관 평가를 통해 GPT-4 기반 LLM이 영상의학 임상 판단에 도달한 방식과 평가 결과 요약. 전반적인 정확도는 72% 이상으로 보고됨.

연구 결과는 놀라웠다.
GPT-4 기반 LLM은 전체 판단에서 전문의의 판단과 72% 일치했으며, 특히 후속 조치(recommendation) 결정에서는 83%의 정밀도를 보였다.

또한 AUC 기반 검사 선택에서는 약 68%의 정확도를 기록했으며, 이는 실제 임상 진료 지침과 매우 유사한 수준이었다.
이는 LLM이 단순한 질의응답 도우미를 넘어, 실제 임상 결정 보조 역할을 수행할 수 있다는 점을 강하게 시사한다.

4. 임상 적용 시 고려 사항

▷ 강점

빠른 문서 요약: 영상판독 보고서를 요약해 비의료인도 쉽게 이해 가능
검사 선택 도우미: AUC 기반 적절 검사 선택 자동화 가능
사례 기반 분석: 유사 증례 비교를 통한 임상 판단 강화

▷ 한계점

지식 업데이트의 시차: LLM은 훈련 시점 이후의 최신 정보 반영이 불가
판단의 불확실성: 중증 사례일수록 LLM의 판단이 흔들리는 경향
법적·윤리적 문제: 오진 시 책임 소재, 환자 정보 보호 등 고려 필요

5. 의료현장에서의 활용 사례 및 기대 효과

NEJM AI 연구 이후, 일부 병원에서는 실제 임상 시스템에 LLM을 다음과 같이 도입하고 있다.

병원명	활용 사례	주요 효과
Stanford Hospital	영상판독 요약 + EMR 자동 입력	평균 판독 시간 30% 감소
Mayo Clinic	검사 선택 AI 도우미	AUC 기준 미준수 감소 40%
Duke Health	LLM 기반 교육 시스템	전공의 진단 정확도 향상

그림 2. LLM 기반 영상의학 임상 지원 워크플로우

그림 2. GPT-4 기반 LLM이 임상 영상 판독 및 의사결정 과정에서 삽입되는 워크플로우 흐름.

6. 미래 전망 및 결론

LLM은 영상의학에서의 역할을 빠르게 확장하고 있으며, 조만간 진단 정확성의 핵심 요소로 자리 잡을 가능성이 크다.
다만, 모델의 한계와 윤리적 문제를 감안한 의사 보조 시스템”으로의 접근이 더욱 바람직하다.

앞으로는 멀티모달 AI (예: 이미지+텍스트 통합)와 결합한 영상의학 AI의 진화가 가속화될 것이며,
그 중심에는 GPT와 같은 대형 언어 모델이 자리할 것이다.

참고문헌

[1] S. Wu, S. Rajpurkar, M. Andriole et al., "Large Language Models for Radiologic Decision-Making — A Multicenter Evaluation," NEJM AI, vol. 1, no. 3, 2024. [Online]. Available: https://ai.nejm.org/doi/full/10.1056/AIoa2400804

[2] T. Davenport and R. Kalakota, “The potential for artificial intelligence in healthcare,” Future Healthcare Journal, vol. 6, no. 2, pp. 94–98, 2019.

[3] M. Hosny, C. Parmar, J. Quackenbush, L. H. Schwartz, and H. Aerts, “Artificial intelligence in radiology,” Nature Reviews Cancer, vol. 18, no. 8, pp. 500–510, 2018.

[4] S. S. Hanna and A. R. Yan, "Generative AI in Medicine: Opportunities and Challenges," Journal of Biomedical Informatics, vol. 136, 2023.

[5] Y. Zhang, Z. Zhou, and D. Shen, “Multi-modal deep learning models for medical diagnosis: A review,” IEEE Transactions on Biomedical Engineering, vol. 70, no. 2, pp. 452–466, 2023.

[6] H. Haenssle et al., “Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition,” European Journal of Cancer, vol. 120, pp. 114–121, 2019.

[7] J. Krittanawong et al., "Artificial Intelligence in Precision Cardiovascular Medicine," Journal of the American College of Cardiology, vol. 69, no. 21, pp. 2657–2664, 2017.

이 블로그 검색

MediWave