스탠퍼드 실험: AI가 법학 교수를 이겼다 — 그런데 '무엇을' 이겼는지가 진짜 핵심이에요

무슨 일이 있었냐면

스탠퍼드 로스쿨에서 진행한 연구에서 AI 도구가 특정 법률 과제에서 법학 교수들보다 더 좋은 성과를 냈다는 결과가 나왔어요. "AI가 의사 시험을 통과했다", "변호사 시험을 풀었다" 같은 뉴스는 그동안도 많았는데, 이번엔 분야 최고 전문가 집단인 로스쿨 교수와 직접 붙여서 비교했다는 점이 눈길을 끌어요.

다만 제목만 보고 "이제 변호사도 끝났네" 하고 받아들이면 핵심을 놓쳐요. 중요한 건 AI가 어떤 종류의 작업에서, 어떤 조건으로 이겼는가거든요.

구체적으로 뭘 비교했나

법률 업무는 크게 두 갈래로 나눠볼 수 있어요. 하나는 정해진 자료를 빠르게 읽고, 구조화하고, 초안을 뽑아내는 "생산 작업"이고, 다른 하나는 모호한 상황에서 판단하고 전략을 세우고 책임을 지는 "판단 작업"이에요.

AI가 강한 쪽은 전자예요. 방대한 판례와 조문을 순식간에 훑어서 메모를 작성하고, 계약서 초안을 만들고, 쟁점을 정리하는 일이죠. 이런 작업은 "빠르고 빠짐없이"가 중요한데, 여기서 AI는 사람보다 압도적으로 빠르고 지치지 않아요. 교수가 몇 시간 걸려 정리할 자료 검토를 AI는 몇 분 만에 그럴듯한 결과물로 내놓으니, 일정 기준의 평가에서는 충분히 더 높은 점수가 나올 수 있는 거예요.

여기서 꼭 짚어야 할 게 환각(hallucination) 문제예요. 이게 뭐냐면, AI가 존재하지 않는 판례나 조문을 진짜처럼 지어내는 현상이에요. 실제로 미국에서 변호사가 AI가 만든 가짜 판례를 법정에 제출했다가 제재받은 사례들이 있었거든요. 그래서 이번 연구의 결과를 볼 때도 "정확성을 어떻게 검증했는가"가 점수만큼이나 중요해요.

업계 맥락

법률은 사실 AI가 가장 빠르게 파고드는 분야 중 하나예요. 텍스트 중심이고, 선례를 따르는 구조이고, 문서 작업이 업무의 큰 비중을 차지하니까요. Harvey 같은 법률 특화 AI 스타트업이 대형 로펌에 도입되고 있고, 글로벌 로펌들은 이미 계약 검토와 디스커버리(증거 자료 검토)에 AI를 적극 쓰고 있어요.

이번 연구가 의미 있는 이유는, "AI가 사람 일을 다 뺏는다"가 아니라 "전문직 업무 안에서도 AI가 강한 부분과 약한 부분이 명확히 갈린다"는 걸 데이터로 보여준다는 점이에요. 반복적이고 자료 기반인 작업은 AI가 가져가고, 최종 판단과 책임·고객 신뢰는 사람이 쥐는 식으로 역할이 재편되는 거죠.

한국 개발자에게 주는 시사점

우리한테도 그대로 적용되는 이야기예요. 개발 업무도 "코드를 빠르게 뽑는 생산 작업"과 "아키텍처를 정하고 트레이드오프를 판단하는 작업"으로 나뉘잖아요. AI가 잘하는 건 전자고, 가치가 점점 더 쏠리는 건 후자예요. 그러니 AI를 막연히 두려워하기보다, 내 업무를 이 두 축으로 쪼개서 "어디를 AI에 맡기고 어디를 내가 책임질지" 설계하는 사람이 강해져요.

특히 법률·의료·금융 같은 도메인에 서비스를 만드는 분들이라면, AI 결과물을 "그대로 신뢰"하는 게 아니라 "검증 단계를 어떻게 끼워 넣을지"가 제품 경쟁력이 돼요. 환각을 잡아내는 출처 표시, 원문 대조, 사람 검토(Human-in-the-loop) 설계가 핵심이거든요.