"그 챗봇, 왜 우리 고객한테 그렇게 답했나요? 근거 자료 제출하세요."
병원·금융사 담당자가 이 한마디를 던지는 순간, 외주 개발사의 얼굴이 하얗게 질립니다. AI가 왜 그런 판단을 했는지 아무도 설명하지 못하니까요.
— 2025년 이후 AI 챗봇 계약서에 빠지지 않고 등장하는 '설명가능성' 조항
챗봇을 도입하는 병원과 금융팀이 요즘 가장 무서워하는 건 '오답'이 아닙니다. 오답이 나왔을 때, 그 근거를 재구성해서 감사(監査)에 제출할 수 없다는 것이 진짜 공포입니다. 의료법·금융소비자보호법·개인정보보호법은 "AI가 자동으로 내린 결정에 대해 설명할 수 있어야 한다"고 요구합니다. 근거를 못 대면? 계약 해지, 그리고 손해배상입니다.
바로 여기에 비전공자도 진입할 수 있는 'LLM 판단 근거 자동 기록·감사로그 봇' 시장이 열려 있습니다. 챗봇을 새로 만드는 게 아니라, 이미 돌아가는 챗봇에 '블랙박스 해명 장치'를 얹어주고 월 100만원을 받는 구조죠.
대체 '감사로그 봇'이 뭘 하는 건가요?
쉽게 말하면 AI의 '진술서 작성 대행'입니다. 사용자가 챗봇에게 질문 → LLM이 답변을 생성하는 그 순간에, 봇이 옆에서 '왜 이렇게 답했는지'를 자동으로 기록해 둡니다. 나중에 문제가 터지면 이 기록만 꺼내면 됩니다.
구체적으로 6가지를 남깁니다.
① 입력 원문 — 사용자가 뭘 물었나
② 참조 근거(RAG 문서) — 어떤 자료를 보고 답했나
③ 모델 판단 이유 — LLM에게 "왜 이 답을 골랐는지" 자기설명 요청
④ 모델·버전·설정값 — 어떤 AI가, 온도(temperature) 몇으로
⑤ 타임스탬프·해시 — 위·변조 불가능하게 봉인
⑥ 위험도 태그 — 의료·투자 조언 등 민감 답변 자동 분류
핵심은 '기존 챗봇을 건드리지 않는다'는 점입니다. 외주사 입장에서 이미 납품한 시스템을 수정하는 건 리스크지만, 옆에 로그 봇 하나 붙이는 건 무해합니다. 그래서 영업이 쉽습니다.
비전공자를 위한 5단계 실전 가이드
1단계 · 가로채기 세팅 (반나절)
코드를 짤 필요 없습니다. 바이브코딩으로 "OpenAI API 요청을 중간에서 복사해 로그로 남기는 프록시 서버를 Python으로 만들어줘"라고 시키면 됩니다. 고객사 챗봇의 API 주소를 우리 프록시로 한 줄만 바꿔주면 연결 끝입니다.
2단계 · 자기설명 프롬프트 (핵심 노하우)
답변을 생성할 때 뒤에 조용히 이런 지시를 붙입니다. "방금 답변에 사용한 근거 문서 3개와, 그 문서를 선택한 이유를 30자 이내로 JSON에 담아라." 이 한 줄이 '블랙박스'를 '유리상자'로 바꿉니다.
3단계 · 봉인 (신뢰의 핵심)
단순히 저장만 하면 "나중에 조작한 것 아니냐"는 반박에 무너집니다. 그래서 각 로그에 해시값을 찍어 "이 기록은 이 시각 이후 단 한 글자도 안 바뀌었다"를 수학적으로 증명합니다. 이게 있어야 법적 증거로 인정받습니다.
4단계 · 대시보드
병원 담당자가 코드를 볼 줄 몰라도 되게, 검색창 하나 있는 웹 화면을 만듭니다. "3월 12일 김OO 환자 응답"을 검색하면 근거 6요소가 카드로 뜨고, PDF로 뽑아 감사팀에 제출합니다.
5단계 · 월 구독 전환
여기가 진짜입니다. 만들어 파는 건 한 번이지만, "법령이 바뀌면 로그 항목도 업데이트하고, 매달 감사 리포트를 뽑아드립니다"로 묶으면 월 구독이 됩니다. 병원 3곳만 잡아도 월 300만원이죠.
감사로그는 보관이 곧 가치입니다. 3년치 로그를 안전하게 쌓아두는 것 자체가 고객이 돈을 내는 이유죠. 한 번 도입하면 갈아타기 어렵고, 매달 자동으로 매출이 들어옵니다.
'그냥 챗봇 만들기'와 뭐가 다른가
실제 영업은 이렇게 시작합니다
거창한 데모가 필요 없습니다. 챗봇을 이미 쓰는 병원·금융팀·외주사에 딱 한 문장을 던지세요. "지금 AI가 왜 그렇게 답했는지, 감사팀이 물으면 근거를 제출할 수 있으세요?" 대부분 "…아니요"라고 답합니다. 그 순간이 계약의 시작점입니다.
이 봇은 '기술 상품'이 아니라 '리스크 보험'으로 팔아야 합니다. "로그 남겨드립니다"가 아니라 "계약 파기·과징금을 막아드립니다"라고 말하는 순간, 월 100만원이 싸게 느껴집니다.
AI를 '만드는' 사람은 이미 넘칩니다. 하지만 AI를 '해명하는' 사람은 아직 거의 없습니다. 규제는 매년 촘촘해지고, 챗봇을 도입한 조직은 계속 늘어납니다. 수요는 정해져 있는데 공급자가 없는, 지금이 딱 그 시장입니다.
이런 '남들이 안 보는 틈새를 코드로 메워 수익화하는 법'은 혼자 막막하게 부딪히면 몇 달이 걸립니다. TTJ 코딩클래스 정규반에서는 비전공자가 바이브코딩으로 프록시·감사로그·대시보드 같은 실전 모듈을 직접 만들고, 실제 고객사에 월 구독으로 파는 과정까지 단계별로 함께 완성합니다. '만들 줄 아는 사람'을 넘어 '팔 줄 아는 사람'이 되고 싶다면, 지금이 시작하기 좋은 때입니다. 🚀