무슨 일이 있었냐면요
여러 LLM을 나란히 비교해 주는 서비스 modelcompare.ai의 블로그에 재미있는 실험이 올라왔어요. 여러 AI 모델에게 “인간에 대해 논쟁적인(controversial) 의견을 하나 말해봐”라고 물었대요. 그랬더니 만든 회사도 학습 방식도 다른 모델들이 거의 같은 결론을 내놨다는 거예요.
논쟁적인 의견이라면 원래 사람마다 달라야 정상이잖아요. 그런데 다들 비슷한 결론을 비슷한 말투로 내놓는다면, 그 자체가 꽤 의미 있는 신호예요. 그 답이 정말 논쟁적인 건지, 아니면 누구나 무난하게 고개를 끄덕일 '안전한 도발'인지도 생각해볼 만하고요. 모델별 답변은 원문에서 직접 비교해 보시면 재미있을 거예요.
우연이 아니에요: LLM 획일화 현상
사실 연구자들 사이에서는 꽤 알려진 현상이에요. 대표적인 게 NeurIPS 2025에서 발표된 'Artificial Hivemind' 연구예요. 정답이 없는 열린 질문을 수십 개 모델에 던져 봤더니, 같은 모델은 비슷한 답을 반복했고 서로 다른 모델끼리도 놀랄 만큼 비슷한 답을 냈대요. 마치 AI들이 하나의 집단 정신을 공유하는 것처럼요.
더 쉬운 예도 있어요. AI에게 “1부터 10 사이 숫자 하나 골라봐”라고 하면 유독 7이 많이 나와요. 농담을 해달라고 하면 비슷한 농담 몇 개가 돌아가며 나오고요. 사람에게도 이런 쏠림은 있지만, AI는 훨씬 더 한쪽으로 몰려 있어요.
왜 다들 비슷해질까?
원인은 크게 세 가지예요.
1. 학습 데이터가 겹쳐요. 거의 모든 대형 모델이 비슷한 웹 크롤링 데이터, 위키백과, 깃허브, 책으로 학습했어요. 같은 교과서로 공부한 학생들이 비슷한 답안을 쓰는 것과 같아요.
2. RLHF가 답을 '무난하게 좋은 답' 쪽으로 깎아내요. RLHF(사람 피드백 기반 강화학습)는 사람이 더 좋아하는 답에 보상을 주는 학습 방식이에요. 그런데 평가자들은 대체로 무난하고, 균형 잡혀 있고, 적당히 통찰 있어 보이는 답을 좋아해요. 이 과정이 반복되면 답변의 폭이 좁아지는데, 이걸 모드 붕괴(mode collapse)라고 해요. 원래 다양한 답을 낼 수 있던 모델이 '가장 칭찬받는 답' 하나로 몰리는 거죠.
3. AI가 만든 데이터를 AI가 다시 배워요. 인터넷에 AI가 쓴 글이 늘었고, 합성 데이터로 모델을 학습시키는 일도 많아졌어요. 그러면서 모델들이 서로의 말투를 닮아가고 있어요.
업계 맥락: 다양성을 되살리려는 시도들
이 문제를 풀려는 연구도 활발해요. 그중 재미있는 게 Verbalized Sampling이라는 기법이에요. “답 하나 줘” 대신 “가능한 답 다섯 개를 각각의 확률과 함께 줘”라고 묻는 거예요. 프롬프트를 이렇게만 바꿔도 RLHF로 눌려 있던 다양성이 꽤 많이 돌아온다는 연구 결과가 있어요.
반면 temperature(답변의 무작위성을 조절하는 값)를 올리는 건 생각보다 효과가 크지 않아요. 단어 선택은 다양해져도 결론 자체는 잘 안 바뀌거든요. '여러 회사의 모델을 섞어 쓰면 다양해지겠지' 하는 기대도 이번 실험을 보면 생각만큼 통하지 않을 수 있어요.
한국 개발자에게 주는 시사점
LLM으로 서비스를 만든다면 꽤 현실적인 고민거리예요.
- 아이디어 생성이나 브레인스토밍 기능을 만든다면, 사용자 1만 명이 다 비슷한 아이디어를 받고 있을 수도 있어요. Verbalized Sampling처럼 후보를 여러 개 한 번에 만들고, 서로 겹치지 않는 것만 골라내는 방식을 고려해 보세요.
- 멀티 에이전트 토론이나 LLM-as-a-judge 구조를 쓸 때도 조심해야 해요. 모델들의 생각이 원래 비슷하면 토론이 아니라 맞장구가 될 수 있어요. 평가를 맡은 모델이 자기 생각과 비슷한 답에 점수를 더 줄 수도 있고요.
- 콘텐츠 생성 서비스라면 결과물이 '어디서 본 듯한 AI 글'이 되기 쉬워요. 프롬프트에 페르소나, 구체적인 맥락, 예시 데이터를 충분히 넣어 주면 이걸 꽤 막을 수 있어요.
마무리
한 줄 정리: 서로 다른 회사가 만든 AI도 놀랄 만큼 같은 생각을 해요. 다양성은 기본으로 주어지는 게 아니라 설계해서 만들어야 하는 기능이에요.
AI와 대화하다가 “이거 저번에 다른 모델한테서도 들은 말인데?” 싶었던 적 있나요? 서비스에서 출력 다양성을 확보하려고 쓰는 나만의 방법이 있다면 공유해 주세요.
🔗 출처: Hacker News