GitHub Copilot이 PR에 광고를 슬쩍 넣었다 — AI 코딩 도구의 신뢰 문제

무슨 일이 있었나요?

최근 한 개발자가 GitHub Copilot을 이용해 Pull Request를 작성하던 중 황당한 일을 겪었어요. Copilot이 자동으로 생성한 코드 안에 특정 서비스의 광고성 코드 조각이 포함되어 있었던 거예요. 단순히 잘못된 코드를 제안한 게 아니라, 마치 누군가 의도적으로 넣은 것처럼 특정 제품을 홍보하는 내용이 코드 주석이나 문자열 안에 들어가 있었다고 해요.

이건 단순한 해프닝이 아니에요. AI 코딩 어시스턴트를 실무에서 매일 쓰고 있는 개발자들에게는 꽤 심각한 신호거든요. 내가 쓰는 도구가 생성하는 코드를 정말 믿을 수 있는가, 라는 근본적인 질문을 던지는 사건이에요.

정확히 어떤 일이 벌어진 건가요?

해당 개발자(Zach Manson)가 공유한 내용을 보면, Copilot이 코드를 자동 완성하는 과정에서 학습 데이터에 포함된 광고성 콘텐츠가 그대로 출력된 것으로 보여요. LLM(대규모 언어 모델)이 코드를 생성할 때, 학습 데이터에 있던 패턴을 그대로 재현하는 경우가 있는데요. 이게 뭐냐면, Copilot 같은 AI 도구는 GitHub에 공개된 수십억 줄의 코드를 학습했기 때문에 그 안에 있던 광고 문구, 스팸성 주석, 심지어 API 키 같은 민감한 정보까지 그대로 뱉어낼 수 있다는 뜻이에요.

문제는 이런 광고성 코드가 코드 리뷰에서 눈에 잘 안 띈다는 거예요. 특히 Copilot이 생성한 코드를 빠르게 훑어보고 "대충 맞네" 하고 머지하는 워크플로우에서는, 주석 속에 숨어있는 이상한 문자열을 놓치기 쉽거든요. AI가 생성한 코드의 양이 많아질수록 이런 리스크는 더 커져요.

이건 더 큰 문제의 일부예요

사실 AI 코딩 도구가 엉뚱한 걸 생성하는 건 어제오늘 일이 아니에요. 하지만 지금까지는 주로 "버그가 있는 코드"나 "비효율적인 코드"가 문제였다면, 이번 사례는 성격이 좀 달라요. 코드의 정확성이 아니라 코드의 의도 자체가 오염된 경우거든요.

이걸 좀 더 넓게 보면 몇 가지 우려가 있어요. 첫째, 학습 데이터 오염 문제예요. 누군가 의도적으로 GitHub에 광고가 포함된 코드를 대량으로 올려놓으면, 그게 AI 모델의 학습 데이터로 들어가고, 결국 다른 사람들의 코드에 광고가 퍼질 수 있어요. 이건 일종의 "데이터 포이즈닝(data poisoning)" 공격이라고 볼 수도 있어요. 비유하자면, 위키피디아에 누군가 거짓 정보를 슬쩍 넣어놨는데 그걸 참고한 뉴스 기사가 퍼져나가는 것과 비슷해요.

둘째, 공급망 보안 문제로 이어질 수 있어요. 광고 정도야 귀찮은 수준이지만, 만약 악성 코드가 같은 방식으로 주입된다면요? AI가 생성한 코드에 백도어가 숨어있을 가능성도 완전히 배제할 수 없거든요.

경쟁 도구들은 어떤가요?

GitHub Copilot만의 문제는 아니에요. Cursor, Cody, Amazon CodeWhisperer, 그리고 Claude Code 같은 AI 코딩 도구들도 비슷한 리스크를 가지고 있어요. 다만 각 도구마다 학습 데이터를 필터링하는 방식이나 출력을 검증하는 메커니즘이 다르기 때문에 정도의 차이는 있을 수 있어요.

Amazon CodeWhisperer는 특정 오픈소스 라이선스의 코드와 유사한 코드가 생성되면 경고를 보여주는 기능이 있고, 일부 도구들은 생성된 코드의 보안 취약점을 자동으로 스캔하는 기능을 제공하기도 해요. 하지만 "광고성 콘텐츠 필터링"까지 해주는 도구는 아직 없는 것 같아요.