1Password 산하 Off-by-1 Labs가 내놓은 보고서 'Frontier Models' Vulnerability Patches are Often F.L.A.W.E.D'(이하 FLAWED)를 둘러싼 비판이 보안 연구 커뮤니티에서 번지고 있다. 이 보고서는 최신 프런티어 모델이 생성하는 취약점 패치가 자주 결함을 갖는다고 주장했다. 그러나 9월 17일 Trail of Bits는 '1Password's AI patching benchmark is misleading'라는 글에서, Davi Ottenheimer는 '1Password가 퍼뜨리는 허위정보'라는 글에서 각각 이 보고서의 방법론과 결론을 정면으로 반박했다. 한 보안 연구자는 이를 인용하며 자신의 트위터 반박 글을 올렸고, 그 반응이 다시 이번 장문의 해설로 이어졌다.
논쟁의 핵심은 특정 회사나 모델을 편드는 문제가 아니다. 글쓴이는 'FLAWED가 OpenAI에 비판적이었으니 문제를 제기하지 말아야 한다'는 식의 진영 논리를 명확히 거부한다. 연구는 스포츠가 아니며, 프런티어 랩의 주장이든 그를 비판하는 연구든 모두 건강한 회의(skepticism)의 대상이 되어야 한다는 것이다. 실제로 그는 EleutherAI의 정밀한 작업이나 AI Now Institute가 'Patch the Planet'에 대해 내놓은 견고한 비판을 대안적 사례로 든다. 흥미롭게도 논문 형식이 아닌 AI Now의 글이 FLAWED보다 인용이 더 많다는 점도 지적된다.
블로그 글과 과학 논문의 경계
이 사안에서 실무자가 주목할 지점은 '장르(genre)의 혼동'이다. 보안 연구는 취약점 발견, 익스플로잇·도구 개발, 위협 인텔리전스, 실증 연구 등 넓은 활동을 포괄한다. 하나의 취약점을 시연하는 일과, 인간과 AI의 상호작용에 관한 실증적·과학적 주장을 세우는 일은 요구되는 설계와 증거의 수준이 다르다. 데이터에 기반한 관찰을 담은 블로그 글은 그 자체로 가치가 있지만, '과학적으로 엄밀하고 동료 심사를 거쳤다'고 제시되는 순간 추가적인 의무가 생긴다.
문제는 FLAWED가 사용한 'peer review'라는 표현이 학술적 동료 심사가 아니라 저자가 감사를 표한 업계 동료 세 명의 검토를 가리킨다는 데 있다. 더구나 보고서 본문은 스스로 '우리의 평가는 과학 연구의 엄밀성을 충족하지 않으며 그렇게 받아들여져서는 안 된다'고 밝히고 있다. 즉 저자 자신은 한계를 인정했지만, 유통 과정에서 그 단서는 탈락하고 결론만 뉴스와 방어자(defender) 로드맵으로 흘러 들어갔다. 글쓴이가 이를 'slop(엉성한 결과물)'으로 분류하고도 뒤늦게 문제를 제기한 이유가 여기에 있다.
인용의 부재가 드러내는 것
또 다른 비판은 인용 문제다. 인용 수가 곧 엄밀함의 척도는 아니지만, 저자가 자기 주장을 정확히 가늠하고 관련 문헌과 책임 있게 소통했는지를 가늠하는 유용한 대리 지표는 된다. 글쓴이는 AI 패치 연구의 기초로 여겨지는 핵심 논문을 인용하지 않은 점을 '누락에 의한 표절(plagiarism by omission)'로 규정하며, 이는 해당 분야 문헌에 대한 깊은 무지이거나 의도적 회피를 시사한다고 본다. 그는 스마트 컨트랙트 감사에서 'Codex와 GPT-4가 인간을 이기지 못한다'를 다룬 블로그 글을 대비 사례로 들며, FLAWED도 실제 기술적 기여에 초점을 맞췄다면 설득력 있는 글이 될 수 있었다고 평한다.
왜 이 논쟁이 단순한 내부 다툼을 넘어서는가. 글쓴이는 '언론 사이클은 출판 과정이 아니다'라고 단언한다. 부실한 연구는 잘못된 주장 하나를 문헌에 남기는 데 그치지 않는다. 자신의 제도적·개인적 이익에 부합하는 결론을 반복적으로 고르고, 약한 방법론을 적용한 뒤, 기업의 유통력과 사회적 설득으로 그 결론을 과도하게 영향력 있게 만드는 경로가 열린다. 그는 이번 사안에서 그런 악의가 있었다고 주장하지는 않지만, 연구 생태계에 그런 취약점이 특정 논문이나 저자 의도와 무관하게 존재한다고 경고한다. Carlini의 말처럼 '무엇이 고장 났는지 보여주지 않으면 고칠 수 없기' 때문이다.
실무자가 가져갈 교훈
한국의 보안·AI 실무자에게 이 사건은 두 가지를 시사한다. 첫째, 인용하고 확산하는 자료는 그 형식이나 소속, 기존 인용 수를 타당성의 대리 지표로 삼지 말고 직접 읽어야 한다. 유명 기업이 배포했다는 사실은 검증을 대체하지 못한다. 둘째, 내 기존 통념을 확인해 주는 연구일수록 더 엄격하게 봐야 한다. 엄밀함의 목적은 우리가 받아들이고 싶지만 사실이 아닌 결론으로부터 스스로를 보호하는 데 있다.
다만 이 반박 자체도 학술 논문이 아닌 개인 블로그 글이며, FLAWED가 아직 학계 문헌에 직접 진입하지는 않은 것으로 보인다는 점은 균형 있게 볼 대목이다. 글쓴이가 던지는 진짜 질문은 여전히 열려 있다. 고정된 예산이 주어졌을 때 오픈소스 소프트웨어 보안을 실제로 개선하는 개입은 무엇인가. 유지보수자를 더 고용하는 것인지, 기존 유지보수자에게 토큰 사용 비용을 지원하는 것인지, AI 사용이 금지된 컨설팅과 협력하는 것인지, 아니면 전혀 다른 무엇인지는 아직 근거로 답해지지 않았다. FLAWED를 둘러싼 소동이 정작 이 질문에 답할 자원을 딴 데로 돌렸다는 지적이야말로, 화려한 보고서보다 오래 곱씹을 가치가 있다.