작은 AI 모델도 보안 취약점을 찾을 수 있다 — Mythos 이후 달라진 AI 사이버보안의 지형

무슨 일이 있었나

얼마 전 구글 딥마인드가 공개한 Mythos라는 AI 시스템이 실제 소프트웨어에서 알려지지 않은 보안 취약점(제로데이)을 찾아냈다는 소식이 업계를 뒤흔들었어요. "드디어 AI가 해커를 대체하는 시대가 왔나?"라는 반응이 쏟아졌는데요, 이번에 보안 스타트업 Aisle에서 흥미로운 후속 분석을 내놨어요. 핵심은 이거예요: Mythos가 찾아낸 취약점 상당수를 훨씬 작은 모델들도 찾을 수 있었다는 거죠.

이건 단순히 "큰 모델이 별거 아니었다"는 이야기가 아니에요. AI 보안 분야에서 "들쭉날쭉한 프론티어(jagged frontier)"라는 개념이 부상하고 있다는 뜻인데요, 쉽게 말하면 AI의 능력이 모든 영역에서 균일하게 올라가는 게 아니라, 어떤 작업에서는 작은 모델도 잘하고 어떤 작업에서는 큰 모델도 못하는 울퉁불퉁한 경계선이 존재한다는 거예요.

핵심 내용: 작은 모델이 어떻게 대형 모델을 따라잡았나

Aisle 팀이 한 작업은 명쾌해요. Mythos가 발견했다고 보고된 취약점들을 대상으로, 파라미터 수가 훨씬 적은 오픈소스 모델들에게 동일한 코드를 분석하게 한 거예요. 결과가 꽤 놀라운데요, 상당수의 취약점을 작은 모델들도 식별해냈어요.

이게 가능했던 이유를 이해하려면 취약점 탐지가 실제로 어떤 작업인지 알아야 해요. 보안 취약점을 찾는 과정은 크게 두 단계로 나뉘거든요. 첫째는 패턴 매칭 단계예요. 버퍼 오버플로우, SQL 인젝션 같은 알려진 유형의 취약점 패턴을 코드에서 찾아내는 건데, 이건 상대적으로 정형화된 작업이라 작은 모델도 충분히 할 수 있어요. 마치 맞춤법 검사기가 굳이 소설가 수준의 언어 이해력이 필요 없는 것과 비슷하달까요.

둘째는 맥락 추론 단계예요. 코드의 전체 아키텍처를 이해하고, 여러 함수 호출이 엮이면서 생기는 복잡한 논리적 결함을 찾아내는 건데, 이쪽은 확실히 대형 모델이 유리해요. 문제는 Mythos가 발견한 취약점 중 상당수가 첫 번째 유형에 가까웠다는 거예요. 즉, 패턴 기반으로 탐지 가능한 비교적 전형적인 취약점이었던 거죠.

Aisle은 이걸 "들쭉날쭉한 프론티어"라고 표현했어요. 이 개념은 원래 Ethan Mollick 교수가 AI의 업무 능력에 대해 쓴 표현인데, 보안 분야에 딱 맞아떨어져요. AI가 "전반적으로 잘한다/못한다"가 아니라, 특정 하위 작업별로 성능 격차가 극심하다는 뜻이에요. 어떤 취약점은 7B 파라미터 모델도 찾고, 어떤 취약점은 수천억 파라미터 모델도 놓치는 거죠.

업계 맥락: AI 보안 도구의 현재 지형

이 발견은 현재 AI 보안 도구 시장의 지형을 다시 생각하게 만들어요. 지금 시장에는 크게 세 가지 접근법이 경쟁하고 있거든요.

첫째, 구글 딥마인드의 Mythos처럼 초대형 모델을 직접 투입하는 방식이에요. 컴퓨팅 비용이 높지만 복잡한 취약점까지 커버할 수 있다는 게 장점이에요. 둘째, 보안 특화로 파인튜닝된 중소형 모델을 쓰는 방식이에요. Aisle의 분석이 시사하는 것처럼, 잘 훈련된 작은 모델이 비용 대비 효과가 뛰어날 수 있어요. 셋째, 기존의 정적 분석 도구(SAST)에 AI를 보조적으로 결합하는 방식이에요. Semgrep, CodeQL 같은 도구들이 이 방향으로 진화하고 있죠.

중요한 점은 이 세 접근법이 상호 배타적이지 않다는 거예요. 오히려 Aisle의 분석은 계층화된 보안 전략이 가장 합리적이라는 결론으로 이어져요. 일상적인 코드 리뷰에는 비용이 낮은 작은 모델을 돌리고, 중요한 릴리스 전에는 대형 모델로 심층 분석을 하는 식이죠. 이건 보안 업계에서 오래전부터 써온 "방어의 깊이(defense in depth)" 원칙과도 맞닿아 있어요.

한국 개발자에게 주는 시사점

이 소식이 한국 개발자들에게 실질적으로 의미하는 바는 꽤 커요. 우선 비용 문제예요. 대형 모델 API를 보안 스캔에 쓰면 토큰 비용이 상당한데, 작은 모델로도 기본적인 취약점 탐지가 가능하다면 비용을 크게 줄일 수 있거든요. 특히 스타트업이나 소규모 팀에서는 로컬에서 돌릴 수 있는 오픈소스 모델로 CI/CD 파이프라인에 보안 검사를 통합하는 게 현실적인 선택지가 돼요.

또 하나는 보안 엔지니어의 역할 변화예요. AI가 패턴 기반 취약점을 자동으로 잡아준다면, 사람은 더 복잡한 비즈니스 로직 취약점이나 아키텍처 수준의 보안 설계에 집중할 수 있어요. 이건 위협이 아니라 기회에 가까워요. 반복적인 코드 리뷰에서 벗어나 더 높은 수준의 보안 작업에 시간을 쓸 수 있게 되니까요.

실무에서 바로 시도해볼 수 있는 것도 있어요. Ollama 같은 도구로 로컬에 7B~13B급 코드 분석 모델을 띄우고, PR이 올라올 때마다 변경된 코드에 대해 보안 리뷰를 자동으로 돌려보는 거예요. 완벽하진 않겠지만, 기본적인 인젝션 패턴이나 인증 누락 같은 건 꽤 잘 잡아줄 거예요.

정리

AI 보안 도구는 "크기가 전부"가 아니에요. 작업의 성격에 따라 작은 모델로 충분한 영역이 분명 존재하고, 이걸 이해하면 훨씬 효율적인 보안 전략을 세울 수 있어요.

여러분의 팀에서는 현재 자동화된 보안 검사를 어떻게 하고 계시나요? AI 기반 도구를 도입해봤거나 고려 중이라면, 어떤 기준으로 모델 크기와 비용의 균형을 잡고 계신지 궁금해요.