Wired가 충격적인 보도를 냈어요. 메타 플랫폼에서 실제로 집행된 광고에 AI로 생성된 아동 성착취 이미지(CSAM)가 포함돼 있었다는 내용인데요. 일반 게시물도 아니고 '광고'라는 점이 특히 심각해요. 광고는 사용자가 몰래 올리는 콘텐츠가 아니라, 심사 절차를 거치고 메타가 돈을 받고 노출해주는 콘텐츠거든요. 그 관문이 뚫렸다는 거예요. 감정적으로도 끔찍한 일이지만, 오늘은 기술적으로 왜 이런 일이 가능했는지를 뜯어보려고 해요. 여기에 생성형 AI 시대 콘텐츠 모더레이션의 구조적인 문제가 그대로 드러나 있거든요.
기존 탐지는 '지문 대조' 방식이에요
지난 20년 가까이 CSAM 탐지의 중심은 해시 매칭이었어요. 이게 뭐냐면, 이미지마다 지문 같은 값을 뽑아서 비교하는 방식이에요. 마이크로소프트가 만든 PhotoDNA 같은 지각 해시(perceptual hash) 기술은 이미지가 조금 잘리거나 색이 바뀌어도 비슷한 지문이 나오도록 설계돼 있고요. 플랫폼들은 NCMEC(미국 실종학대아동방지센터) 같은 기관이 관리하는 '알려진 불법 이미지'의 해시 데이터베이스와 업로드되는 이미지를 대조해요. 빠르고 오탐이 거의 없어서 업계 표준이 됐죠.
그런데 이 방식에는 치명적인 전제가 있어요. '이미 알려진' 이미지여야 잡을 수 있다는 거예요. AI로 생성된 이미지는 세상에 존재한 적 없는 새 이미지라서 데이터베이스에 지문이 없어요. 그러니 해시 매칭으로는 구조적으로 잡을 수가 없는 거죠. 이걸 보완하려고 머신러닝 분류기(이미지 내용 자체를 판별하는 모델)를 함께 쓰지만, 분류기는 오탐과 미탐 사이에서 줄타기를 해야 하고, 하루 수백만 건씩 쏟아지는 광고 심사는 대부분 자동화에 의존해요. 이번 사건은 그 자동화의 구멍을 정확히 통과한 거예요.
생성형 AI가 바꾼 위협 지형
안전장치가 제거된 이미지 생성 모델이 악용되는 문제는 몇 년째 심각해지고 있어요. 법적으로는 논란의 여지가 없어요. 미국은 AI 생성물이라도 아동 성착취물이면 불법이고, 한국도 청소년성보호법상 실존 아동 여부와 무관하게 가상의 아동 성착취물 제작과 유포를 처벌해요. 플랫폼은 발견 시 NCMEC에 신고할 법적 의무도 있고요. 문제는 법이 아니라 집행 능력이에요. 메타는 최근 몇 년간 콘텐츠 모더레이션 인력과 정책을 줄이고 자동화 의존도를 높여왔는데, 이번 보도는 그 방향 전환에 대한 뼈아픈 성적표인 셈이에요.
업계는 어떤 답을 찾고 있나
탐지 쪽에서는 발견된 AI 생성물을 해시 DB에 추가하고, 생성 이미지에 특화된 분류기를 만들고, Thorn이나 Tech Coalition 같은 조직을 통해 플랫폼 간 협력을 강화하는 흐름이에요. 생성 쪽에서는 학습 데이터 정화가 큰 과제예요. 대형 공개 데이터셋에서 불법 이미지가 발견됐던 LAION 사태 이후, 애초에 모델이 그런 걸 만들 수 없게 학습 단계부터 막자는 논의가 본격화됐거든요. 워터마킹으로 생성물을 식별하자는 시도도 있고요. 다만 어느 것도 완전하지 않고, 생성 속도가 탐지 속도를 앞서는 게 지금의 현실이에요.
UGC 서비스 만드는 개발자라면 남 얘기가 아니에요
사용자가 이미지를 올리는 서비스를 운영한다면 이건 메타만의 문제가 아니에요. 한국은 이른바 n번방 방지법(전기통신사업법 개정)에 따라 일정 규모 이상의 서비스에 불법촬영물 유통 방지를 위한 기술적 조치 의무가 있어요. 방송통신위원회가 지정한 표준 필터링 기술 연동이 필요하죠. 이미지 업로드 기능을 설계할 때는 업로드 시점의 해시 대조, 분류기 검사, 사용자 신고 파이프라인, 그리고 법적 신고 절차까지를 하나의 흐름으로 잡아야 해요. 서비스에 이미지 생성 AI 기능을 넣는다면 입력 프롬프트 필터와 출력 이미지 필터의 이중 방어가 사실상 필수고요.
정리하면, 이번 사건은 '알려진 것을 찾아내는' 시대의 도구로 '매번 새로 만들어지는 것'을 막으려다 생긴 구조적 실패예요. 여러분은 어떻게 보세요? 탐지 기술이 생성 기술을 따라잡을 수 있을까요? 그리고 플랫폼의 책임과 기술의 한계 사이에서 선은 어디에 그어져야 할까요?
🔗 출처: Hacker News