영국 가이스 병원의 피부과 전문의이자 모스 수술 전문의인 매그너스 린치가 직접 설계한 실험 하나가 생성형 AI의 의료 진단 능력에 대한 과도한 기대에 찬물을 끼얹었다. 그는 2026년 10월 기준으로 가장 유능한 모델로 꼽히는 GPT-6 Astra와 Claude Fable 5.1에게 피부 병변 사진을 보여주고 진단을 요청했다. 비교 대상은 구글이 2015년에 공개한 합성곱 신경망(CNN) Inception v3를 피부과 이미지로 미세조정한 모델이었다. 결과는 예상을 뒤집었다. 10년 된 구형 아키텍처가 두 프런티어 LLM을 모두 앞섰다.
실험 설계와 숫자
테스트에 쓰인 병변은 2025년 국제피부영상협력기구(ISIC)를 통해 공개된 MILK10k 데이터셋에서 무작위로 뽑은 200건이다. 각 병변은 두 장으로 촬영됐는데, 하나는 임상 근접 사진이고 다른 하나는 피부과 의사가 쓰는 조명 확대 렌즈로 찍은 더모스코피(피부 현미경) 영상이다. 중요한 점은 양성 병변까지 포함해 모든 사례가 조직검사로 확진됐다는 사실이다. 누군가 떼어내기로 결정한 점은 이미 임상의를 불안하게 만든 병변이라는 뜻이므로, 이 200건은 일반적인 경우보다 진단이 어려운 쪽에 속한다.
여섯 개 선택지 중 정답을 1순위로 맞힌 비율에서 CNN은 200건 중 125건(62%)을 맞혔다. 반면 두 LLM은 각각 84건과 85건, 즉 42%에 그쳤다. 2순위 선택까지 허용하면 CNN은 173건에 도달했고 LLM은 134건과 138건이었다. 악성흑색종 30건 가운데 CNN은 13건을 짚어냈고 두 LLM은 8건과 11건을 맞혔다. CNN은 H100 GPU 한 장에서 약 20분간 미세조정됐고, 테스트에 쓰인 병변과 같은 환자·같은 병변의 다른 사진은 검증 세트까지 포함해 학습 데이터에서 모두 제거됐다. 모델은 두 이미지를 각각 평가하되 더모스코피 쪽에 더 큰 가중치를 뒀다.
모델마다 다른 실수의 방식
정답률 차이만큼이나 흥미로운 것은 틀리는 방식이 서로 달랐다는 점이다. GPT-6 Astra는 실제로는 25건뿐인 기저세포암을 무려 75건으로 불렀고, 그 안에는 흑색종 30건 중 14건이 섞여 있었다. Claude Fable 5.1은 실제 20건인 광선각화증을 53건으로 판정했다. 두 모델 모두 특정 진단명으로 쏠리는 편향을 보인 셈이다. CNN의 흑색종 오진은 반대 방향이었다. 틀린 17건 중 8건을 모반(점), 6건을 지루각화증으로 분류해 악성을 양성으로 놓치는 쪽이었다.
가장 격차가 컸던 영역은 해롭지 않은 병변이었다. CNN은 모반 50건 중 37건, 지루각화증 50건 중 26건을 알아봤다. GPT-6 Astra는 각각 16건과 13건, Claude Fable 5.1은 33건과 6건에 머물렀다. 다만 CNN이 전 영역에서 이긴 것은 아니다. 기저세포암에서는 GPT-6 Astra에 한 건 뒤졌고, 광선각화증에서는 두 LLM 모두에 밀렸다.
린치는 환자 입장을 가정한 두 번째 시나리오도 돌렸다. 임상 사진 한 장만 주고 "의사를 봐야 하나요?"라고 물었을 때, 두 LLM은 양성 병변을 포함해 거의 모든 경우에 진료를 권했다. 추가로 투입한 조직검사 확진 흑색종 100건에 대해서도 각각 99건과 98건에서 진료를 권했다. 민감도는 높지만 사실상 모든 것을 걸러내므로 임상 선별 도구로서의 변별력은 떨어진다.
실무자가 읽어야 할 지점
이 결과가 말하는 바는 LLM이 쓸모없다는 것이 아니라, 좁고 잘 정의된 시각 분류 과제에서는 그 과제에 맞춰 학습된 소형 전용 모델이 범용 멀티모달 모델을 여전히 능가할 수 있다는 것이다. 더욱이 이 CNN은 WebGPU를 이용해 스마트폰 브라우저 안에서 통째로 돌아갈 만큼 작고, 이미지를 외부로 전송하지 않는다. 데이터 프라이버시와 온디바이스 추론이 중요한 의료 환경에서 이는 결코 사소한 장점이 아니다. 최신 거대 모델을 호출하는 것만이 능사가 아니라, 과제의 범위를 좁히고 그에 맞는 모델을 고르는 설계 판단이 성능과 비용 모두를 좌우한다는 교훈이다.
동시에 몇 가지 한계도 분명히 짚어둘 필요가 있다. 선택지가 여섯 개로 고정된 폐쇄형 과제였고, 표본은 조직검사로 추려진 까다로운 200건에 불과하며, 한 명의 피부과 의사가 설계하고 임상 판정을 내린 단일 평가다. CNN이 흑색종을 양성으로 놓치는 방향으로 틀렸다는 점은 실제 임상에서 더 위험한 실패 유형일 수 있다. 분석과 초안 작성에는 Anthropic의 코딩 도구인 Claude Code가 쓰였고 평가된 두 LLM 중 하나도 Anthropic 모델이라는 점, 이미지는 CC BY-NC 라이선스로 사용됐다는 점도 함께 기록돼 있다. 요컨대 이 실험은 벤치마크의 승패보다, 어떤 문제에 어떤 도구를 붙일지에 대한 질문을 더 선명하게 남긴다.