영국 경찰, 법정 진술서에 AI 쓰지 마라 — 챗봇이 만든 '그럴듯한 거짓말'의 위험

무슨 일이 있었냐면요

영국(잉글랜드와 웨일스) 경찰 당국이 일선 경찰관들에게 "법정에 제출하는 진술서나 증거 문서를 작성할 때 AI(특히 ChatGPT 같은 생성형 챗봇)를 쓰지 말라"는 지침을 내렸어요. 듣고 보면 "당연한 거 아니야?" 싶을 수도 있는데요, 사실 이게 지금 전 세계 사법 시스템이 골머리를 앓고 있는 아주 현실적인 문제거든요.

왜 이런 지침까지 나왔을까요? 경찰관도 사람이라 바쁘고 귀찮으니까, 사건 보고서나 진술 요약을 쓸 때 챗봇한테 "이 내용 좀 깔끔하게 정리해줘"라고 시키고 싶은 유혹이 생기는 거예요. 그런데 여기서 진짜 위험한 문제가 터집니다.

핵심 문제: '환각(hallucination)'

생성형 AI의 가장 큰 약점이 바로 환각이에요. 이게 뭐냐면, AI가 사실이 아닌 내용을 마치 사실인 것처럼 아주 자연스럽고 그럴듯하게 만들어내는 현상이에요. AI는 진실을 아는 게 아니라 "다음에 올 법한 단어"를 확률로 이어붙이는 기계거든요. 그래서 존재하지 않는 사건, 없던 증인, 가짜 날짜 같은 걸 천연덕스럽게 써넣어요.

일상 대화에서야 "아 틀렸네" 하고 웃어넘기면 되지만, 법정 진술서라면 얘기가 완전히 달라지죠. 잘못된 한 문장 때문에 무죄인 사람이 유죄가 되거나, 반대로 증거가 통째로 무효 처리될 수 있어요. 실제로 미국에서는 변호사가 ChatGPT가 지어낸 가짜 판례를 법원에 제출했다가 제재를 받은 사례가 여러 건 있었어요. AI가 "○○ 대 △△ 사건, 2019년" 같은 판례를 그럴듯하게 만들어냈는데, 찾아보니 세상에 없는 판례였던 거죠.

또 하나 중요한 건 책임 소재예요. 진술서는 "내가 직접 보고 들은 사실"이라는 인격적 진실성이 핵심인데, AI가 윤색하거나 살을 붙이면 그게 정말 그 경찰관이 목격한 사실인지, AI가 추측한 건지 경계가 무너져버려요.

업계 맥락에서 보면

이 흐름은 영국만의 일이 아니에요. 미국 여러 주 법원은 이미 "AI 사용 시 반드시 고지(disclosure)하라"는 규칙을 만들었고, 일부는 AI 생성 문서 제출 자체를 금지했어요. 즉 지금 사법 시스템 전반이 "AI를 어떻게 안전하게 받아들일까"가 아니라 "일단 위험한 곳부터 막자"는 방어 모드로 들어간 거예요.

흥미로운 건, 의료·금융·법률처럼 틀리면 사람 인생이 바뀌는 고위험(high-stakes) 영역일수록 AI 도입에 가장 보수적이라는 점이에요. 반대로 마케팅 문구나 코드 초안처럼 틀려도 사람이 검수하면 되는 영역은 AI가 빠르게 침투하고 있고요.

한국 개발자에게 주는 시사점

AI 서비스를 만드는 입장에서 이건 남 일이 아니에요. 챗봇이나 LLM 기반 서비스를 개발할 때 "이 출력이 틀리면 어떤 일이 벌어지는가"를 반드시 따져봐야 한다는 교훈이거든요. 특히 공공·법률·의료 도메인에 LLM을 붙이려는 분들은 RAG(검색 증강 생성, 실제 문서를 근거로만 답하게 하는 기법)나 출처 인용, 사람 검수 단계(human-in-the-loop)를 설계 단계부터 넣어야 해요.

또 사용자 입장에서도, 업무에 챗봇을 쓸 때 "이건 초안 만들기용이지 최종 사실 확인용이 아니다"라는 선을 분명히 그어야 합니다. AI가 쓴 건 반드시 사람이 사실 검증을 해야 한다는 거죠.