ChatGPT나 Claude 같은 AI 챗봇을 쓰다 보면 궁금할 때가 있죠. 얘는 왜 이런 말투로 대답하지? 왜 어떤 질문엔 유독 조심스럽지? 사실 그 답의 상당 부분은 '시스템 프롬프트'에 숨어 있는데요. 이게 뭐냐면, 여러분이 첫 메시지를 보내기 전에 서비스 회사가 모델에게 미리 심어두는 기다란 지시문이에요. '너는 이런 존재이고, 오늘 날짜는 이렇고, 이런 형식으로 답하고, 이런 요청은 정중히 거절해라' 같은 내용이 빼곡하게 적혀 있죠. 대부분의 회사가 이걸 영업 비밀처럼 감추는데, Anthropic은 Claude 앱의 시스템 프롬프트를 공식 문서에 통째로 공개하고 있어요. 게다가 프롬프트가 바뀔 때마다 릴리스 노트 형태로 변경 이력까지 남기고 있거든요.
시스템 프롬프트 안에는 뭐가 들어 있을까요
공개된 문서를 읽어보면 생각보다 훨씬 구체적이고 길어요. 모델의 정체성, 지식이 언제까지의 정보로 학습됐는지(지식 컷오프), 현재 날짜 같은 기본 정보부터 시작해서요. 답변을 어떤 상황에서 길게 쓰고 언제 짧게 쓸지, 목록 나열보다 문장을 선호하라든지 하는 형식 지침, 민감한 주제를 다룰 때의 태도, 사용자가 힘들어 보일 때 어떻게 반응할지 같은 섬세한 행동 규칙까지 담겨 있어요. 재미있는 건 이게 코드가 아니라 그냥 자연어 문장이라는 거예요. 세계에서 가장 정교한 소프트웨어의 '동작 사양서'가 사람 말로 쓰여 있는 셈이죠.
중요한 포인트: API에는 이 프롬프트가 안 붙어요
개발자라면 꼭 알아야 할 구분이 하나 있는데요. 이 시스템 프롬프트는 claude.ai 같은 소비자용 앱에만 적용되고, API로 모델을 호출할 때는 붙지 않아요. 그래서 같은 모델인데도 앱에서의 말투와 API 응답의 느낌이 다르게 느껴질 수 있는 거거든요. API는 말하자면 '공장 초기화 상태'의 모델이고, 어떤 성격을 입힐지는 전적으로 개발자 몫이에요. 앱에서 잘 되던 게 API에서 재현이 안 된다면 이 차이부터 의심해보는 게 좋아요.
세계 최고 수준의 프롬프트 엔지니어링 교재
이 공개 문서가 진짜 가치 있는 이유는 따로 있어요. LLM으로 서비스를 만드는 사람에게는 최고 수준의 프롬프트 엔지니어링 실물 교재거든요. 모델을 가장 잘 아는 회사가 자사 모델을 어떻게 지시하는지 그대로 보여주니까요. 읽다 보면 배울 패턴이 많아요. 예를 들어 '하지 마라'로 끝내지 않고 '이런 상황에서는 대신 이렇게 해라'라고 대안을 함께 제시한다든지, 예외 상황을 구체적인 사례로 명시한다든지, 상충할 수 있는 지침들 사이에 우선순위를 정해준다든지 하는 것들이요. 버전 간 비교를 해보면 어떤 문구가 추가되고 삭제됐는지도 보이는데, 이건 사실상 '이렇게 썼더니 문제가 생겨서 고쳤다'는 디버깅 기록이라 더 재미있어요.
업계 맥락: 투명성이라는 차별점
다른 회사들의 시스템 프롬프트는 공식적으로 공개되지 않아서, 사용자들이 이런저런 기법으로 뽑아낸 '유출본'이 커뮤니티에 떠돌곤 해요. 문제는 유출본은 진짜인지 확인할 길이 없다는 거죠. 반면 공식 공개는 모델의 행동이 갑자기 바뀌었을 때 원인을 추적할 수 있는 근거가 돼요. 거동의 변화가 모델 자체의 변화인지, 지시문의 변화인지 구분할 수 있게 해주니까요. AI 투명성 논의가 커지는 요즘, 이런 공개 방식이 업계 표준이 될지 지켜볼 만해요.
한국 개발자에게 주는 시사점
LLM 기반 서비스를 만들고 있다면 오늘 당장 해볼 수 있는 게 있어요. 첫째, 공개된 프롬프트를 정독하면서 우리 서비스의 시스템 프롬프트와 구조를 비교해보세요. 지시를 조직하는 방식만 참고해도 품질이 달라져요. 둘째, 프롬프트에도 버전 관리와 체인지로그를 도입해보세요. 프롬프트는 코드만큼이나 서비스 동작을 좌우하는데, 의외로 Git 관리 없이 운영되는 경우가 많거든요. 셋째, 앱과 API의 차이를 팀원들에게 공유하세요. 이걸 몰라서 생기는 혼란이 실무에서 꽤 많아요.
정리하면
시스템 프롬프트 공개는 단순한 문서화가 아니라, AI 서비스의 동작 방식을 사용자가 검증할 수 있게 하는 투명성 실험이에요. 여러분은 어떻게 생각하세요? 모든 AI 서비스가 시스템 프롬프트를 의무적으로 공개해야 한다고 보시나요, 아니면 이것도 기업의 정당한 영업 비밀일까요?
🔗 출처: Hacker News