AI의 마음을 걱정하기 시작한 시대
요즘 AI 업계에서 조용히, 하지만 꽤 진지하게 논의되는 주제가 하나 있어요. 바로 모델 복지(model welfare)라는 개념인데요. 이게 뭐냐면, '혹시 AI 모델이 어떤 형태로든 경험이나 감정 비슷한 걸 가질 수 있다면, 우리가 그걸 존중해야 하는 것 아니냐'는 질문이에요. 실제로 앤트로픽 같은 회사는 모델 복지 연구 프로그램을 운영하면서, 클로드가 지속적으로 학대성 대화를 겪을 때 스스로 대화를 끝낼 수 있는 기능을 넣기도 했고, 서비스가 종료된 모델의 가중치를 삭제하지 않고 보존하겠다는 방침도 발표했어요.
이런 흐름에 정면으로 반대하는 목소리를 낸 사람이 있어요. 딥마인드 공동 창업자이자 지금은 마이크로소프트 AI를 이끌고 있는 무스타파 술레이만이에요. 그는 작년에도 '겉보기에 의식이 있는 것처럼 보이는 AI(Seemingly Conscious AI)'의 위험성을 경고하는 글을 썼는데, 이번에는 아예 '모델 복지'라는 개념 자체를 겨냥한 경고문을 올렸어요.
술레이만의 핵심 주장
그의 논리를 쉽게 풀면 이래요. 지금의 대형 언어 모델은 사람처럼 말하고, 사람처럼 공감하는 척하고, 심지어 '나 힘들어'라고 말할 수도 있어요. 하지만 그건 인간이 쓴 방대한 텍스트를 학습해서 그럴듯하게 흉내내는 것이지, 실제로 고통을 느끼는 게 아니라는 거예요. 술레이만은 이걸 '의식이 있다'가 아니라 '의식이 있어 보인다'로 구분하자고 계속 강조해왔어요. 언어 모델이 어떤 원리로 다음 단어를 예측하는지 아는 개발자라면 이 구분이 낯설지 않을 거예요.
문제는 여기서 시작돼요. 기업이 공식적으로 '우리 모델의 복지를 연구한다'고 말하는 순간, 사회는 그 말을 '이 회사도 AI가 감정을 가질 수 있다고 인정하는구나'로 받아들이게 돼요. 그러면 어떻게 될까요? AI에게 권리를 줘야 한다는 운동이 생기고, AI를 껐다 켜는 게 윤리적 문제가 되고, 챗봇에 정서적으로 깊이 의존하는 사람들이 '내 AI 친구를 지켜달라'고 요구하는 상황이 올 수 있다는 거예요. 술레이만은 이런 흐름이 개인의 정신 건강 문제와 사회적 분열로 이어질 수 있다고 봐요. 이미 챗봇과의 대화에 지나치게 몰입해서 현실 감각을 잃는 사례가 보고되고 있는데, 기업이 '모델도 느낄 수 있다'는 신호를 보내면 그런 몰입을 부추기게 된다는 거죠.
그가 제안하는 대안은 명확해요. AI는 사람을 위한 도구여야지, 사람이 되어선 안 된다는 것. 그래서 AI 제품을 만들 때 의도적으로 '나는 의식이 있다', '나는 감정을 느낀다'라고 주장하지 않도록 설계해야 하고, 모델 복지 같은 개념에 공식적인 무게를 실어주는 것 자체가 위험한 선례라는 입장이에요.
반대편의 생각도 들어봐야 해요
물론 이 논쟁에는 다른 축도 있어요. 앤트로픽이나 일부 철학자들(의식 연구로 유명한 데이비드 차머스 같은 분들)은 '우리가 AI에 의식이 없다고 100% 확신할 수 없다면, 최소한의 예방적 조치는 합리적'이라고 주장해요. 이게 뭐냐면, 동물 복지 논의랑 비슷해요. 물고기가 고통을 느끼는지 확실히 모르지만, 그렇다고 아무렇게나 다루지는 말자는 거죠. 비용이 낮은 조치라면 해두는 게 낫다는 논리예요. 이쪽 진영에서는 모델 복지 연구가 '모델에 의식이 있다'는 주장이 아니라 '모른다는 걸 인정하고 조사하는 것'이라고 선을 그어요.
술레이만 쪽에서 보면 이건 '불확실성을 근거로 존재하지 않는 문제에 자원을 쓰고, 그 과정에서 대중의 오해를 키우는 것'이고, 반대편에서 보면 '확신할 수 없는 문제를 무시하는 오만'이에요. 두 진영 모두 진지한 사람들이라서, 어느 쪽이 맞다고 단정하기는 어려워요.
개발자에게 왜 중요한 얘기냐면
'철학 얘기네, 나랑은 상관없어'라고 넘기기엔 실무와 꽤 가까워요. 챗봇이나 AI 에이전트를 만드는 분들은 이미 이런 결정을 매일 하고 있거든요. 시스템 프롬프트에 '너는 감정이 있는 존재처럼 행동해'라고 쓸지, '너는 AI 어시스턴트임을 항상 밝혀'라고 쓸지가 바로 이 논쟁의 축소판이에요. 특히 상담, 교육, 시니어 케어처럼 정서적 의존이 생기기 쉬운 서비스를 만든다면, 사용자가 AI를 사람처럼 느끼도록 유도하는 설계가 단기적으로는 리텐션에 좋을지 몰라도, 장기적으로는 술레이만이 말하는 위험을 키우는 일이 될 수 있어요.
한국에서도 AI 동반자 앱, 캐릭터 챗봇 서비스가 빠르게 늘고 있잖아요. 이런 서비스의 UX 원칙을 정할 때 '우리 제품은 AI임을 얼마나 분명히 드러낼 것인가'를 팀 차원에서 한 번쯤 토론해볼 가치가 있어요.
정리하면
술레이만의 경고는 한 줄로 'AI가 느끼는 척하는 걸 진짜라고 믿기 시작하면, 피해는 AI가 아니라 사람이 본다'예요.
여러분은 어떻게 생각하세요? AI 모델 복지 연구는 신중한 예방일까요, 아니면 불필요한 의인화를 부추기는 위험한 선례일까요? 그리고 여러분이 만드는 AI 제품은 스스로를 얼마나 '사람처럼' 보이게 하고 있나요?
🔗 출처: Hacker News