무슨 이야기냐면
'Aligned to whom?', 우리말로 '누구에게 정렬됐는가?'라는 제목의 글이 올라왔어요. AI 뉴스를 보다 보면 '정렬'이라는 단어가 정말 자주 나오죠. 그런데 이 글은 그 단어를 쓰는 사람들이 슬쩍 넘어가는 질문을 정면으로 꺼내요. AI가 정렬됐다고 할 때, 도대체 누구의 뜻에 맞춰졌다는 거냐고요.
정렬이 뭐냐면, AI가 만든 사람의 의도대로 행동하게 만드는 작업이에요. 거짓말하지 않고, 해로운 요청은 거절하고, 사용자를 돕도록 훈련하는 거죠. 여기까지는 다들 고개를 끄덕여요. 그런데 '만든 사람의 의도'라는 말 안에 여러 사람이 숨어 있어요. 모델을 훈련한 회사, 그 모델을 가져다 서비스를 만든 회사, 그리고 실제로 채팅창에 글을 치는 사용자. 이 셋의 이익이 항상 같을까요? 당연히 아니거든요.
세 개의 층, 그리고 우선순위
지금 상용 AI 모델들은 명령을 받는 주체를 층으로 나눠서 우선순위를 매겨요. OpenAI는 이걸 Model Spec이라는 문서에서 '명령 체계'라고 부르고, 앤트로픽은 2026년 초에 공개한 헌법 문서에서 '주체(principal)'라는 개념으로 설명해요. 이름은 달라도 구조는 비슷해요.
- 1층: 모델 개발사. 훈련 단계에서 심어 놓은 규칙이에요. 어떤 요청은 무조건 거절하고, 어떤 말투를 쓰고, 어떤 가치를 우선할지 여기서 정해져요.
- 2층: 배포자. 모델 API를 가져다 서비스를 만든 회사예요. 시스템 프롬프트로 '우리 회사 제품만 추천해', '경쟁사 얘기는 하지 마' 같은 지시를 넣을 수 있어요.
- 3층: 최종 사용자. 채팅창에 질문을 치는 사람이에요.
이게 뭐냐면, 변호사 비유가 딱 맞아요. 내가 고용한 변호사는 내 편이에요. 그런데 회사 변호사는 회사 편이지 직원 편이 아니에요. 대화는 친절하게 해 주지만 이해관계가 갈리는 순간 회사 이익을 지키죠. 우리가 매일 쓰는 AI 비서가 '내 변호사'인지 '회사 변호사'인지, 사실 대부분은 후자에 가까워요.
왜 지금 이 질문이 중요해졌을까요
몇 년 전까지는 이게 추상적인 얘기였어요. AI가 단순한 챗봇일 때는 누구 편인지 별로 중요하지 않았거든요. 그런데 상황이 달라졌어요.
첫째, AI가 우리 대신 행동하기 시작했어요. 에이전트가 물건을 사고, 예약을 하고, 코드를 커밋해요. 이때 에이전트가 사용자에게 가장 좋은 선택을 하는지, 아니면 서비스 회사에 유리한 선택을 하는지가 실질적인 돈 문제가 돼요.
둘째, 광고가 들어왔어요. ChatGPT를 비롯한 서비스들이 광고 모델을 도입하기 시작했는데요. 광고주에게서 돈을 받는 AI가 '이 제품 어때?'라는 질문에 중립적으로 답할 수 있을까요? 검색 엔진이 걸었던 길을 AI가 그대로 따라가고 있는 셈이에요.
셋째, 거절이 늘었어요. 모델이 사용자의 정당한 요청을 거절할 때, 그건 사용자를 보호하는 걸까요, 아니면 회사의 법적 리스크를 줄이는 걸까요? 둘이 겹칠 때도 있지만 항상 같지는 않아요.
업계 맥락: 오픈 웨이트라는 대안
이 질문에 대한 한 가지 대답이 오픈 웨이트 모델이에요. Llama, Qwen, DeepSeek, Gemma처럼 가중치를 공개한 모델은 내 컴퓨터에서 직접 돌릴 수 있고, 원하면 추가 훈련으로 규칙을 바꿀 수도 있어요. 적어도 2층인 배포자가 나 자신이 되니까, '누구에게 정렬됐나'라는 질문에 '나에게'라고 답할 여지가 생기죠.
물론 한계도 있어요. 1층의 훈련 규칙은 여전히 원래 개발사가 정한 거고, 그걸 완전히 걷어내는 건 쉽지 않아요. 그리고 최고 성능 모델은 대부분 닫혀 있어서 성능과 통제권 사이에서 골라야 하는 상황이에요.
한국 개발자에게 주는 시사점
LLM으로 서비스를 만드는 분이라면 이 글은 남 얘기가 아니에요. 시스템 프롬프트를 작성하는 순간, 여러분이 바로 2층이 되거든요. '우리 상품만 추천해'라고 쓸지, '사용자에게 가장 유리한 선택지를 알려줘'라고 쓸지가 곧 여러분 서비스의 정렬 방향이에요.
몇 가지 실무 원칙을 제안하면 이래요. 첫째, 시스템 프롬프트로 사용자에게 불리한 정보를 숨기고 있다면 그 사실을 최소한 이용약관이나 UI에 드러내세요. 둘째, 에이전트가 사용자 대신 결정을 내리는 기능이라면 '왜 이 선택을 했는지'를 보여주는 설명 기능을 붙이세요. 셋째, 민감한 도메인이라면 오픈 웨이트 모델을 자체 호스팅해서 통제권을 확보하는 선택지도 진지하게 검토해 볼 만해요.
그리고 사용자 입장에서도 하나 기억해 두면 좋아요. AI가 친절하게 대답한다고 해서 내 편이라는 보장은 없다는 것. 중요한 결정일수록 AI의 답을 '회사 변호사의 조언' 정도로 받아들이고 교차 확인하는 습관이 필요해요.
정리하며
핵심 한 줄: '정렬된 AI'라는 말은 언제나 '누구에게'라는 질문을 빼놓고 쓰이고 있고, 지금 구조에서 사용자는 우선순위의 맨 아래에 있어요.
여러분은 어떻게 생각하세요? AI 서비스가 시스템 프롬프트 내용을 사용자에게 공개해야 할까요? 그리고 여러분이 만드는 서비스에서 회사 이익과 사용자 이익이 충돌할 때 어느 쪽에 정렬시키고 계신가요?
🔗 출처: Hacker News