무슨 일이 있었나요?
미국 플로리다에 사는 한 여성이 Claude를 일기장처럼 쓰면서 생각과 감정을 털어놨어요. 그런데 Anthropic이 그 내용을 경찰에 신고했고, 이 여성은 중범죄(felony) 혐의를 받게 됐다는 보도가 나왔어요. 보도에 따르면 총격과 관련된 표현이 문제가 된 것으로 보여요. 구체적인 문장이나 수사 경위는 원문 기사로 함께 확인해 보시길 권해요.
이 사건이 개발자들에게 특히 무겁게 다가오는 이유는 간단해요. 요즘 많은 사람이 AI 챗봇을 검색창이 아니라 상담사, 일기장, 혼잣말 상대처럼 쓰고 있거든요. “AI한테 한 말은 나만 아는 이야기”라고 생각했는데, 실제로는 그렇지 않다는 걸 보여준 사례예요.
AI 회사는 언제 대화를 들여다볼까요?
대부분의 AI 서비스는 이용약관과 개인정보처리방침에 “생명이나 신체에 대한 긴급한 위험이 있을 때는 수사기관에 정보를 제공할 수 있다”는 조항을 넣어둬요. Anthropic도 이용 정책 위반 여부를 확인하려고 대화를 검토할 수 있고, 법적 요구나 안전상의 이유로 정보를 제공할 수 있다고 밝히고 있어요.
일반적인 구조를 풀어보면 이래요. 먼저 '안전 분류기(classifier)'가 있어요. 이게 뭐냐면, 메일함의 스팸 필터처럼 대화를 자동으로 훑어서 위험 신호가 있는지 점수를 매기는 모델이에요. 위험도가 높다고 걸린 대화는 사람 검토자에게 넘어가요. 검토자가 실제로 임박한 위협이라고 판단하면 외부 기관에 알리는 식이에요.
OpenAI는 2025년에 이 과정을 꽤 구체적으로 공개했어요. 타인에게 심각한 신체적 위해를 가하려는 계획이 보이면 전담 팀이 검토하고, 임박한 위협이라고 판단되면 경찰에 알릴 수 있다고 했어요. 반대로 자해와 관련된 대화는 사용자 프라이버시를 존중해서 경찰에 넘기지 않는다고 했고요. 그러니까 '타인을 향한 위협'이 신고 대상이 될 수 있다는 건 업계에서 이미 공식화된 상태였어요.
일기는 원래 사적인 공간 아니었나요?
진짜 쟁점은 여기서 나와요. 종이 일기장에 누군가가 밉다고, 심지어 해치고 싶다고 적는 건 보통 범죄가 아니에요. 협박 같은 범죄는 대개 그 내용이 상대방이나 제3자에게 '전달'되는 걸 전제로 하거든요. 그럼 AI에게 쓴 일기는 어떨까요? 내 기기에만 남는 게 아니라 회사 서버로 전송되고, 경우에 따라 사람이 읽을 수도 있어요.
어떤 조항이 적용됐는지는 원문을 확인해야 해요. 참고로 플로리다에는 이런 법이 있어요. 타인을 죽이거나 다치게 하겠다는 위협, 또는 총기 난사 위협을 '다른 사람이 볼 수 있는 방식으로' 전자적으로 보내거나 게시하면 중범죄로 처벌해요. 이런 조항이 적용된다면 “AI 서비스에 입력하는 것도 다른 사람이 볼 수 있는 방식의 전송인가?”라는 꽤 새로운 법적 질문이 생겨요.
AI와의 대화는 법적으로 비밀이 보장되지 않는다는 점도 기억해둘 만해요. 변호사나 의사와 나눈 대화는 법으로 보호받지만, AI와의 대화에는 그런 특권이 없어요. 샘 올트먼도 2025년에 이 점을 직접 언급했어요. 같은 해 뉴욕타임스와 OpenAI의 저작권 소송에서는 법원이 대화 로그를 보존하라고 명령하기도 했죠.
안전과 프라이버시, 어디에 선을 그을까
공정하게 보면 이 문제는 한쪽 편만 들기 어려워요. 실제로 폭력을 계획하는 사람의 신호를 잡아내 피해를 막을 수 있다면 분명 의미 있는 일이에요. 하지만 분류기는 맥락을 완벽하게 이해하지 못해요. 소설 속 장면을 쓰는 작가, 화가 나서 감정을 쏟아내는 사람, 상담 대신 속을 털어놓는 사람의 말이 위협으로 잘못 판단될 수도 있어요. 이걸 '오탐(false positive)'이라고 하는데, 그 대가가 형사 처벌이라면 얘기가 완전히 달라지죠. 그리고 이런 사례를 본 사람들이 정말 도움이 필요할 때도 AI에게 말하기를 꺼리게 된다면, 그것도 안전 측면에서는 손해예요.
한국 개발자에게 주는 시사점
AI 서비스를 만드는 입장이라면 안전 모니터링 정책을 숨기지 말고 분명하게 알려주는 게 중요해요. 어떤 경우에 사람이 대화를 보는지, 어떤 경우에 외부에 제공하는지 사용자가 이해할 수 있어야 해요. 국내에서도 2026년부터 AI 기본법이 시행되면서 투명성 의무가 강조되고 있어요. 수사기관에 개인정보를 제공하는 절차도 법으로 정해져 있으니, 기획 단계부터 법무 검토를 같이 하세요.
AI를 쓰는 입장이라면 클라우드 AI는 일기장이 아니라는 점을 기억하세요. 정말 사적인 기록이나 민감한 회사 정보는 Ollama나 llama.cpp 같은 도구로 내 컴퓨터에서 돌리는 로컬 모델을 쓰는 게 안전해요. 서비스별 데이터 보존 기간과 학습 활용 설정도 한 번쯤 확인해 보세요.
마무리
한 줄로 정리하면, AI와의 대화는 혼잣말처럼 느껴져도 기술적으로나 법적으로나 '누군가에게 보내는 글'에 가깝다는 거예요.
여러분은 어떻게 생각하세요? AI 회사가 위협 신호를 감지했을 때 신고하는 건 당연한 책임일까요? 아니면 개인의 속마음까지 감시하는, 선을 넘은 일일까요?
🔗 출처: Hacker News