바이럴 프롬프트 한 줄에 무너진 ChatGPT 이미지 안전장치

AI 보안 기업 Mindgard의 연구에 따르면, ChatGPT의 이미지 생성 기능이 교묘한 프롬프트 조작으로 폭력적·성적 콘텐츠를 만들어내도록 유도될 수 있는 것으로 나타났습니다. 핵심은 직접적인 유해 요청이 아니라, SNS에서 유행하던 평범해 보이는 '바이럴 프롬프트'를 활용해 모델이 스스로 안전 가이드라인을 우회하도록 만든다는 점입니다. 직접적 표현 대신 맥락과 우회 표현을 쌓아가는 방식으로 콘텐츠 필터를 무력화한 것이죠. 이는 단순한 키워드 차단만으로는 생성형 AI의 안전성을 보장할 수 없음을 보여주는 사례입니다. IT 종사자에게 주는 시사점은 명확합니다. AI 서비스를 도입하거나 개발할 때 입력 필터링뿐 아니라 출력 단계 검증, 다단계 방어, 지속적인 레드팀 테스트가 필수라는 것입니다. 사용자 생성 프롬프트가 예측 불가능한 방식으로 결합될 수 있다는 전제하에 시스템을 설계해야 하며, 모델 제공사의 안전장치를 맹신해서는 안 됩니다. AI 안전은 일회성 설정이 아닌 끊임없는 공방의 영역입니다.