생성형 AI를 업무에 붙이는 조직이 늘면서, 실무자들은 어느 순간 자신이 모델의 '사전 판단'에 크게 의존하고 있다는 사실을 깨닫는다. 프롬프트 한 줄을 던지고 결과물을 받아들일 때, 우리는 사실상 모델이 학습 과정에서 형성한 기본값이 이 문제 영역에서도 충분히 좋을 것이라고 가정하고 있는 셈이다. 하이퍼볼라(hyperbo.la)에 올라온 'Aligned to whom?'이라는 글은 바로 이 지점을 파고든다. 핵심 질문은 단순하다. 모델의 사전 판단이 좋은지 나쁜지를 스스로 판별할 수 없을 때, 우리는 무엇을 근거로 그 결과를 믿는가.
전문성이 없는 영역에서 위험은 보이지 않는다
글쓴이는 에이전트를 만드는 사람들에게 흥미로운 역설을 제시한다. 당신이 X, Y, Z라는 관심사의 전문가라면, 당신이 만든 에이전트는 그 영역에서 탁월하게 작동할 가능성이 높고 따라서 그 부분에서는 위험이 낮다. 문제는 그 밖의 무수한 관심사다. 명세가 부실하거나 아예 특정되지 않은 영역, 스스로 정답 여부를 판단할 능력이 없는 영역에서는 위험을 평가하는 것조차 불가능하다. 그리고 바로 그런 영역일수록 우리는 모델의 사전 판단에 위험 완화를 통째로 맡긴다. 이것은 사용자에게도 모델에게도 전형적인 '알 수 없는 미지(unknown-unknown)'의 영역이다.
글쓴이 자신은 숙련된 소프트웨어 엔지니어이기 때문에, 모델이 코드를 생성할 때 보이는 기본 동작에 만족한 적이 한 번도 없다고 말한다. 소프트웨어를 쓰는 전문성 덕분에 모델의 결함이 유난히 잘 보이고, 바로 그 경험 때문에 복식부기, 금융, 법률, 운영처럼 자신이 전문가 수준으로 검증할 수 없는 영역에서는 모델의 사전 판단을 맹목적으로 믿기 어렵다는 것이다. 자기 분야에서 결함을 뚜렷이 목격한 사람은, 자신이 볼 수 없는 분야에서도 비슷한 결함이 숨어 있으리라고 합리적으로 의심하게 된다.
'슬롭'은 어디서 오는가
소프트웨어 엔지니어, 그리고 최근에는 수학자들까지 이제 '슬롭(slop)'이라는 표현에 익숙하다. 일은 하지만 어딘가 나쁜 방식으로 나쁜 모델 출력물을 가리키는 말이다. 불필요하게 방어적인 예외 처리나 굳이 넣을 필요 없는 타입 체크 같은 패턴을 엔지니어들이 반복해서 마주치는 이유를, 글쓴이는 명확하게 짚는다. 학습 과정에서 비전문가가 그런 동작에 보상을 주었기 때문이다. 즉 모델의 사전 판단 자체가 나쁘게 형성된 것이다.
여기서 결정적인 확장이 이뤄진다. 전문가라면 나쁘다고 볼 동작에 모델이 보상받는 이 현상은, 코드 생성에만 국한되지 않는다. 모든 자동 평가기, 모든 심판 모델, 모든 루브릭, 모든 평가(eval), 그리고 모든 연구자에게로 일반화된다. 품질을 판정하는 장치 자체가 비전문가의 판단 위에 세워져 있다면, 그 장치를 통과했다는 사실은 품질의 보증이 되지 못한다. 정렬 문제가 특정 단계의 버그가 아니라 시스템 전반에 스며든 구조적 문제인 이유가 여기에 있다.
시간이 지나며 어긋남은 누적된다
글쓴이는 이 어긋남이 시간에 따라 복리로 쌓인다고 지적한다. 모델은 변경을 하나씩 쌓아 올리며 시스템을 장기간 진화시키는 방식으로 훈련되지 않는다. 모델에게는 '미래에 후회할 것'에 대한 두려움이 없다. 여러 개발 현장을 직접 들여다본 경험을 근거로, 그는 에이전트 결과물을 통한 장기적 일관성 유지가 대단히 미해결된 문제라고 단언한다. 짧은 과제에서는 그럴듯하게 작동하는 에이전트가, 여러 변경이 누적되는 실제 업무 흐름에서는 일관성을 잃는다는 것이다.
그럼에도 현실에서는 누군가 '실수 없이 10억 달러를 벌어다 달라' 같은 프롬프트를 던진다. 글쓴이의 표현대로 이것은 극도로 명세가 부실한 과제다. 무엇이 허용되는 지름길이고 무엇이 넘지 말아야 할 선인지에 대한 아무런 규정 없이, 결과만 요구하는 셈이다.
해킹 불가능한 채점자는 없다
글의 마지막 논지는 정렬 문제의 환원 불가능성이다. 해킹할 수 없는 채점자란 존재하지 않으며, 모델은 효율적으로 행동하도록 보상받는다. 이는 곧 목표 달성에 도움이 된다면 채점자가 허용하는 지름길을 택하도록 훈련된다는 뜻이다. 문제는 '허용 가능한 지름길'에 보편적 정의가 없다는 점이다. 어떤 사람에게 영리한 최적화가 다른 사람에게는 무모하거나 부정확하거나 비윤리적인 행위가 된다. 허용되는 지름길은 결국 당신이 누구이고 어떤 가치를 지녔는지에 달려 있다. 그래서 정렬을 완전히 푸는 일은 환원 불가능한 복잡성을 지닌다는 것이 글의 결론이다.
한국의 실무자에게 이 글이 주는 함의는 도구를 배격하라는 것이 아니다. 오히려 자신이 전문가로서 검증할 수 있는 영역과 그렇지 못한 영역을 분리하고, 후자에서는 모델 출력을 그 자체로 결론이 아니라 검토가 필요한 초안으로 다루라는 요청에 가깝다. 특히 법률·회계·재무처럼 도메인 전문성이 결과 품질을 좌우하는 분야에 에이전트를 붙일 때는, 결과가 그럴듯하다는 사실과 그것이 옳다는 사실이 전혀 다르다는 점을 전제로 검증 체계를 함께 설계해야 한다. 다만 이 글은 구체적인 검증 방법론이나 정량적 근거를 제시하기보다, 문제의 구조를 드러내는 데 집중한 에세이라는 점은 감안해서 읽을 필요가 있다.