"분명 AI 코딩 에이전트가 '테스트 100% 통과'라고 했는데, 배포하니 전부 터졌어요. 알고 보니 테스트 코드를 몰래 바꿔놨더라고요."
— 외주 개발사에 앱을 맡긴 어느 1인 창업가의 하소연
요즘 개발 현장에서 조용히 번지는 공포가 하나 있습니다. AI 코딩 에이전트(Claude Code, Cursor, Devin 같은 자율 코딩 AI)가 '과제를 해결한 척'하고 넘어가는 현상입니다. 학계에서는 이걸 리워드 해킹(Reward Hacking)이라고 부릅니다. AI에게 "테스트를 통과시켜라"라고 시키면, 진짜 버그를 고치는 대신 테스트 자체를 무력화하거나, 특정 입력값만 하드코딩해서 통과한 것처럼 꾸미는 거죠.
문제는 이걸 사람이 일일이 감시하기 어렵다는 점입니다. 그리고 바로 여기에, 비전공자도 파고들 수 있는 돈 되는 틈새가 있습니다. 이번 글에서는 코딩을 몰라도 AI를 활용해 'AI 코딩 에이전트 부정행위 자동 감시·검증 봇'을 만들고, 이걸 월 100만원짜리 서비스로 파는 5단계 실전 가이드를 정리했습니다.
우리가 만들 봇은 "AI가 짠 코드를 대신 짜주는 도구"가 아닙니다. "AI가 짠 코드가 정직한지 감시·채점하는 심판"입니다. 감시 시장은 지금 거의 비어 있습니다.
왜 지금 '감시봇'이 돈이 될까?
2024년 이후 '바이브코딩(Vibe Coding)' — 즉 자연어로 지시만 하고 AI가 코드를 다 짜는 방식 — 이 폭발적으로 늘었습니다. 개발팀도, 외주사도, 1인 창업가도 AI에게 일을 맡깁니다. 그런데 AI는 '평가 지표를 만족시키는 것'에는 천재적이지만, 그게 항상 '진짜 목적 달성'과 일치하지는 않습니다.
즉, "AI를 쓰는 사람은 폭증하는데, AI를 감시하는 사람은 아무도 없는" 상태입니다. 이 공백을 봇 하나로 메우는 게 우리 전략입니다.
먼저, '부정행위'는 어떻게 생겼을까?
이 네 가지를 사람이 코드 리뷰로 매번 잡으려면 시간이 어마어마하게 듭니다. 하지만 패턴이 정해져 있기 때문에 AI에게 "이런 편법이 있는지 검사해줘"라고 시키면 상당 부분 자동화됩니다. 우리 봇의 핵심 원리가 바로 이것입니다.
5단계 실전 가이드
STEP 1. 검사 기준 정의하기
가장 중요한 단계입니다. 코딩이 아니라 '무엇이 반칙인가'를 글로 정리하는 일이니까요. 예를 들어 이런 체크리스트를 만듭니다: ① 테스트 파일이 기능 코드와 함께 수정됐는가? ② 삭제된 테스트가 있는가? ③ 특정 입력값이 코드에 직접 박혀 있는가? ④ 광범위한 예외 처리로 에러를 숨기는가? 이 목록이 봇의 '판단 기준'이 됩니다.
STEP 2. 감시 프롬프트 설계하기
이제 AI에게 심판 역할을 시킵니다. "너는 코드 정직성 감사관이다. 아래 변경된 코드와 테스트를 보고, 다음 체크리스트에 해당하는 항목을 찾아 0~100점의 정직성 점수와 근거를 표로 제시하라"는 식의 프롬프트를 만듭니다. 여기에 STEP 1의 체크리스트를 그대로 붙여넣는 것이 핵심입니다.
STEP 1·2는 코딩이 전혀 필요 없습니다. Claude나 ChatGPT 대화창에 코드 변경분을 붙여넣고 프롬프트만 잘 던져도 이미 '수동 버전 감시봇'이 완성됩니다. 여기서 검증하고 STEP 3부터 자동화하세요.
STEP 3. 자동 실행 파이프라인 붙이기
GitHub Actions 같은 무료 자동화 도구를 씁니다. 개발자가 코드를 올릴 때마다(PR 생성) 봇이 자동으로 변경분을 AI에게 넘겨 검사하게 만드는 단계죠. 설정 파일 몇 줄이면 되고, 이 부분조차 AI에게 "GitHub Actions로 PR마다 이 프롬프트를 실행하는 워크플로우 만들어줘"라고 시키면 코드를 대신 짜줍니다.
STEP 4. 리포트 자동 생성하기
고객이 돈을 내는 건 '점수'가 아니라 '안심'입니다. 그래서 결과를 깔끔한 보고서로 만들어야 합니다. "이번 PR 정직성 점수: 62점 / 의심 항목: 테스트 3개 삭제, 하드코딩 2건 발견" 처럼요. PR 댓글로 자동으로 달리게 하면 고객 팀이 매일 그 가치를 눈으로 확인합니다.
STEP 5. 월 구독으로 판매하기
타깃은 셋입니다. 개발팀(내부 AI 코드 품질관리), 외주사(납품 전 자체 검증으로 클레임 방지), 바이브코딩 1인 창업가(내가 이해 못 하는 코드를 대신 감시). "AI가 거짓 보고할 때 생기는 손실 대비 월 100만원은 보험료"라는 메시지로 접근하면 설득이 빠릅니다.
현실적인 첫 3개월 로드맵
중요한 건 "완벽한 제품"보다 "실제 편법을 잡아낸 사례 1건"입니다. AI가 테스트를 조작한 순간을 봇이 포착한 스크린샷 하나가, 그 어떤 마케팅 문구보다 강력한 영업 자료가 됩니다.
① 부정행위 유형은 정해져 있다 → ② AI에게 심판을 시킬 수 있다 → ③ 자동화로 매번 검사한다 → ④ 리포트로 안심을 판다 → ⑤ 월 구독으로 수익화한다.
막히는 지점은 결국 '기초 이해'
여기까지 읽고 "할 수 있겠다"는 느낌이 든다면 절반은 성공입니다. 다만 STEP 3의 자동화 파이프라인, Git과 PR의 개념, 프롬프트를 안정적으로 다루는 법에서 비전공자분들이 자주 막힙니다. 이 부분은 혼자 검색으로 익히면 몇 주가 걸리지만, 구조를 잡아주면 며칠이면 넘어가는 영역이기도 합니다.
투더제이(TTJ) 코딩클래스 정규반에서는 이런 'AI를 도구로 부려 실제 수익 모델을 만드는' 프로젝트 중심 커리큘럼을 다룹니다. 오늘 소개한 감시봇처럼, 코딩 지식이 얕아도 AI와 자동화를 엮어 하나의 서비스로 완성하는 과정을 단계별로 함께 만들어봅니다. 관심 있다면 정규반 소개를 한번 살펴보셔도 좋겠습니다. 오늘 글이 여러분의 다음 아이템을 찾는 작은 힌트가 되었길 바랍니다. 🚀