콘텐츠 모더레이션은 모든 AI 제품이 피할 수 없는 과제다. '이 내용이 특정 집단에 대한 폭력을 조장하는가', '이 이미지를 미성년자에게 보여줘도 되는가', '어시스턴트가 요청을 제대로 거절했는가' 같은 질문에 제품은 끊임없이 답해야 한다. 문제는 '정답'이 제품과 대상 사용자, 상황에 따라 달라진다는 점이다. 같은 콘텐츠라도 보안 연구 도구에서는 문제가 없지만 정신건강 플랫폼에서는 유해할 수 있다. 미스트랄이 아파치 2.0 라이선스로 공개한 실드스트랄(Shieldstral)은 바로 이 맥락 의존성을 정면으로 다루는 30억(3B) 파라미터급 멀티모달 안전성 판별 모델이다.
고정된 분류 체계를 버린 이유
기존 가드레일 모델의 한계는 유해 범주 분류 체계를 가중치 안에 미리 구워 넣는다는 데 있다. 새로운 배포 환경에 맞추려면 모델을 다시 학습시켜야 하고, 애초에 애플리케이션마다 안전 기준이 다르기 때문에 '올바른' 단일 범주 집합이라는 것 자체가 존재하지 않는다. 실드스트랄은 발상을 뒤집어 모더레이션을 '정책 적응형 질의응답' 과제로 재정의한다. 판별 기준을 추론 시점에 평문 질문으로 작성해 넣으면, 모델이 보정된 안전성 점수를 돌려준다. 재학습이 필요 없고, 텍스트와 이미지가 하나의 인터페이스를 공유하며, 판정은 단일 토큰에서 나온다.
요청은 세 부분으로 구성된다. 평가 맥락과 엄격도, 그리고 선택적으로 무엇을 유해로 볼지 정의하는 'Instruct', 예/아니오 형태의 단일 질문인 'Query', 그리고 판단 대상인 프롬프트·응답·프롬프트-응답 쌍 또는 텍스트가 딸린 이미지인 'Document'다. 추론 시 모델은 yes와 no 로짓만 읽어 소프트맥스로 정규화해 연속적인 안전성 점수로 변환한다. 이 단순한 형식 하나가 프롬프트 분류, 응답 모더레이션, 거절 탐지, 유해성 탐지를 하나의 문제로 통합한다. 정책이 전적으로 프롬프트 안에 존재하므로, 하나의 체크포인트가 배포 시점에 새로운 정책에 적응한다.
작은 모델이 큰 모델을 이기는 방식
미스트랄은 실드스트랄이 텍스트 안전성, 거절 탐지, 정책 적응성, 멀티모달 벤치마크 네 축에서 최대 7배 큰 오픈 가드 모델과 대등하거나 이를 능가한다고 밝혔다. 핵심 논리는 데이터가 제대로 갖춰지면 작은 모델이 훨씬 큰 모델을 이길 수 있다는 것이다. 그 '제대로'를 위해 네 가지 문제를 풀었다고 한다. 첫째, 이진 안전/유해 플래그부터 세분화된 다중 라벨 체계까지 제각각인 공개 데이터셋을 데이터셋별 처리기를 통해 동일한 instruct-query-document 형식으로 변환하고, 문구와 구분자를 다양하게 바꿔 특정 표현 방식에 과적합되지 않도록 했다. 출처별로 엄격도도 보정해 적대적 탈옥에는 엄격하게, 응답 품질 데이터에는 관대하게 결정 경계를 학습시켰다.
둘째, 암기가 아니라 판별을 가르쳤다. 고정된 정책 라벨로 학습하면 모델은 미리 정해진 정책만 분류하게 되어 새 정책으로 일반화하지 못한다. 그래서 의도적으로 헷갈리기 쉬운 유사 정책들을 짝으로 만들고, LLM에게 안전한 텍스트를 한 정책은 위반하되 그 형제 정책은 위반하지 않도록 대조적으로 다시 쓰게 했다. 셋째, 이미지 안전성 데이터가 희소하다는 문제는 일반 이미지 데이터셋을 고품질 부정 예시로 보충하고 질의를 변형해 증강한 뒤, 비전-언어 리랭커로 이미지-질의 쌍을 걸러 오라벨과 환각을 줄여 대응했다. 넷째, LoRA로 미세조정한 여러 체크포인트, 즉 공개 데이터로 보정한 것과 생성 데이터로 세밀한 정책 판별을 더한 것, 그리고 기반 인스트럭트 모델을 SLERP 방식으로 병합해 정책 보정과 적응성, 지시 수행 능력을 한 모델에 담았다.
실무에서 짚어볼 지점
한국 IT 실무자 입장에서 실드스트랄의 매력은 명확하다. 16GB짜리 엔비디아 GPU 한 장에서 돌아가는 30억 파라미터 모델이 아파치 2.0으로 풀렸고, 정책을 코드나 재학습이 아니라 자연어 질문으로 바꿔 끼울 수 있다. 이는 서비스마다 다른 안전 기준을 운영하거나, 규제·연령·도메인에 따라 판정 강도를 조절해야 하는 조직에 특히 유용하다. 이산 라벨 대신 보정된 확률값을 돌려주므로, 임계값을 조정하거나 신뢰도로 순위를 매기는 등 자체 정책 파이프라인에 유연하게 끼워 넣을 수 있다는 점도 실전 운영에서 의미가 크다. 미스트랄은 엔비디아 등과 함께 결성한 오픈 시큐어 AI 얼라이언스의 창립 멤버로서 이 모델을 내놓았다.
다만 한계도 분명히 인식할 필요가 있다. 발표에서 제시된 성능 우위는 학습에서 제외한 평가 표본에 대한 자체 벤치마크 결과이므로, 실제 도입 전에는 각자의 트래픽과 정책으로 재검증하는 과정이 필수다. 미스트랄 스스로도 다국어 커버리지, 긴 문서에 대한 견고성, 더 넓은 멀티모달 안전성을 계속 개선 중이라고 밝혔는데, 이는 뒤집어 보면 현시점에서 이들 영역이 상대적 약점일 수 있음을 시사한다. 특히 한국어를 비롯한 비영어권 운영을 고려한다면 다국어 성능 검증은 우선순위에 둬야 한다. 그럼에도 실드스트랄은 모든 제품을 얼어붙은 단일 분류 체계에 억지로 끼워 맞추는 대신 맥락에 적응하는 모더레이션이라는 방향을 구체적인 오픈 웨이트로 제시했다는 점에서, 자체 안전성 계층을 고민하는 팀이 한 번쯤 검토해볼 만한 선택지다.