[심층분석] AI가 만든 콘텐츠를 AI가 학습하는 시대, '순환의 함정'에 빠진 인공지능

AI 생태계에 등장한 '뱀이 자기 꼬리를 먹는' 현상

요즘 인터넷을 돌아다니다 보면 묘한 기분이 들 때가 있어요. 뭔가 비슷비슷한 글, 비슷비슷한 이미지, 비슷비슷한 톤의 영상들이 자꾸 눈에 들어오거든요. "어, 이거 어디서 본 것 같은데?" 싶은 그 느낌. 그게 단순한 착각이 아닐 수도 있어요.

최근 ChatGPT 관련 커뮤니티에서 화제가 된 'The circle of AI life'라는 표현이 있어요. 직역하면 'AI의 생명 순환'인데, 사실 이건 '라이온킹'의 그 유명한 'Circle of Life'를 비튼 거예요. 그런데 디즈니 영화처럼 아름다운 자연의 순환이 아니라, 사실은 좀 섬뜩한 이야기거든요.

이야기를 풀어볼게요. 사람이 글을 써요 → AI가 그 글을 학습해요 → AI가 새로운 글을 만들어내요 → 그 글이 인터넷에 올라가요 → 다음 세대 AI가 그 글을 또 학습해요. 이 사이클이 계속 돌면 어떻게 될까요? 처음에는 사람의 글로 시작했지만, 어느 순간부터는 AI가 만든 글을 AI가 학습하는 상황이 펼쳐지는 거예요. 마치 신화 속에 나오는 '우로보로스(자기 꼬리를 먹는 뱀)'처럼요.

이 현상이 단순히 "재미있는 비유네" 하고 넘길 일이 아닌 이유가 있어요. 실제로 학계와 업계에서는 이걸 '모델 붕괴(Model Collapse)'라고 부르거든요. 영국 옥스퍼드와 케임브리지의 연구팀이 2024년 Nature에 발표한 논문에서 처음 정식으로 명명한 개념인데, 지금 AI 업계가 가장 두려워하는 시나리오 중 하나예요.

모델 붕괴, 이게 도대체 뭐냐면

모델 붕괴라는 말, 좀 어렵게 들리죠? 쉽게 설명해볼게요.

복사기를 한 번 떠올려보세요. 어떤 문서를 복사기에 넣고 복사해요. 그리고 그 복사본을 다시 복사해요. 그 복사본을 또 복사해요. 이렇게 100번 반복하면 어떻게 될까요? 처음에는 거의 똑같아 보이지만, 점점 글자가 흐려지고, 가장자리가 번지고, 결국에는 거의 알아볼 수 없는 회색 덩어리가 되겠죠. AI 모델도 똑같은 일이 벌어진다는 거예요.

조금 더 기술적으로 들어가볼게요. AI 언어 모델은 '확률 분포'를 학습해요. 무슨 말이냐면, "고양이는 ___"이라는 문장이 있을 때, 빈칸에 어떤 단어가 올 확률이 높은지를 계산하는 거예요. '귀엽다', '운다', '잔다' 같은 단어들이 각각 몇 퍼센트의 확률을 가질지 학습하는 거죠.

그런데 AI가 생성하는 텍스트는 이 확률 분포의 '평균값' 근처에서 만들어져요. 가장 그럴듯한, 가장 무난한 답을 내놓는 경향이 있거든요. 사람이 쓴 글에는 "고양이는 가끔 새벽 3시에 거실을 우다다다 뛰어다닌다" 같은 독특하고 구체적인 표현이 있잖아요? 그런데 AI는 점점 "고양이는 귀엽다" 같은 평범한 표현으로 수렴해가요.

이런 AI 생성 텍스트로 다음 모델을 학습시키면, 학습 데이터 자체가 이미 '평균화'된 상태예요. 그 모델이 또 텍스트를 생성하면 더 평균화되고, 그걸로 또 학습시키면 더 단조로워지고... 이렇게 몇 세대만 반복해도 모델은 '언어의 다양성'을 잃어버려요. 마치 유전적 다양성을 잃은 종이 결국 멸종 위기에 처하듯이요.

옥스퍼드 연구팀의 실험 결과가 충격적이었어요. 위키피디아 데이터로 학습한 모델로 새로운 텍스트를 생성하고, 그걸로 다시 학습하는 과정을 9세대 반복했더니, 마지막 모델은 거의 의미 없는 단어들을 무작위로 나열하는 수준이 되었거든요. 처음에는 멀쩡한 영어를 쓰던 모델이, 9세대 후에는 "jackrabbit, jackrabbit, jackrabbit..."만 반복하는 식이 된 거죠.

지금 인터넷에서 실제로 벌어지고 있는 일

"에이, 그건 실험실에서나 일어나는 일이지" 싶죠? 그런데 안타깝게도 현실 세계에서도 비슷한 일이 진행 중이에요.

2024년 한 조사에 따르면, 새로 생성되는 웹 콘텐츠의 약 50% 이상이 AI에 의해 만들어진다는 추정치가 나왔어요. 블로그 글, SEO 최적화된 마케팅 콘텐츠, 자동 생성된 뉴스 요약, 심지어 학술 논문 일부까지요. 이런 상황에서 OpenAI, Anthropic, Google 같은 회사들이 다음 세대 모델을 학습시키려고 인터넷 데이터를 긁어모으면 어떻게 될까요?

불가피하게 AI가 만든 콘텐츠가 학습 데이터에 섞여 들어가게 돼요. 이걸 '데이터 오염(Data Contamination)'이라고 불러요. 마치 깨끗한 물에 잉크가 한 방울씩 떨어지는 것처럼, 인터넷이라는 거대한 데이터 풀이 조금씩 'AI 색깔'로 물들어가는 거죠.

구체적인 예를 들어볼게요. 요즘 구글에서 어떤 기술 문제를 검색하면, 상위에 노출되는 블로그 글 중 상당수가 AI로 쓰여진 것들이에요. 문법은 완벽한데 묘하게 영혼이 없는, 그런 글들. 이런 글에는 '환각(Hallucination)'이 섞여 있을 가능성도 높아요. 환각이라는 건 쉽게 말해서 AI가 사실이 아닌 걸 그럴듯하게 지어내는 현상이에요. "Python 3.12에서는 이런 기능이 추가되었다"고 자신 있게 말하는데, 실제로는 존재하지 않는 기능인 경우가 있거든요.

그런 글이 인터넷에 떠다니다가 다음 AI의 학습 데이터가 되면? 그 AI는 존재하지 않는 기능을 '사실'로 학습하게 돼요. 그리고 그 AI가 답변을 만들면, 또 다른 사람이 그 답변을 블로그에 옮겨 적고... 거짓이 진실로 굳어지는 거예요.

왜 이게 라이온킹의 'Circle of Life'와 다른가

자연 생태계의 순환은 아름다워요. 사자가 영양을 먹고, 사자가 죽으면 풀의 영양분이 되고, 영양이 그 풀을 먹고... 이 순환에서는 에너지와 영양분이 외부(태양)에서 계속 공급돼요. 그래서 시스템이 유지되는 거죠.

그런데 AI의 'circle'은 달라요. 새로운 정보가 외부에서 공급되지 않으면, 순환은 점점 빈약해져요. 이게 핵심이에요.

사람이 쓰는 글에는 새로운 경험, 새로운 관찰, 새로운 통찰이 담겨요. "오늘 처음으로 ChatGPT로 코드 리뷰를 시켜봤는데, 이런 부분이 의외였다" 같은 글은 실제 경험에서 나오는 새로운 데이터죠. 하지만 AI는 이런 새로운 경험을 직접 할 수 없어요. AI는 기존에 학습한 데이터를 재조합할 뿐이거든요.

비유하자면, AI는 도서관에서 책을 빌려 읽고 독후감을 쓰는 학생과 비슷해요. 다른 책들의 내용을 참고해서 새로운 글을 쓸 수는 있지만, 그 학생이 직접 여행을 가서 경험한 이야기는 쓸 수 없잖아요. 그런데 그 학생의 독후감이 다시 도서관에 비치되고, 다음 학생이 그 독후감을 참고해서 또 독후감을 쓰고... 이러면 도서관의 책들은 점점 '재탕'으로만 채워지는 거예요.

업계는 어떻게 대응하고 있을까

다행히 AI 회사들도 이 문제를 인지하고 있어요. 몇 가지 대응 전략을 살펴볼게요.

1. 데이터 출처 검증 강화

OpenAI나 Anthropic 같은 회사들은 학습 데이터를 수집할 때 '사람이 쓴 콘텐츠'를 선별하는 데 더 많은 자원을 투입하고 있어요. 예를 들어 Reddit, Stack Overflow, 학술 논문, 책 같은 출처의 데이터에 더 높은 가중치를 부여하는 식이죠. Reddit과 Google이 2024년에 6천만 달러 규모의 데이터 라이선스 계약을 맺은 것도 이런 맥락이에요.

2. 합성 데이터의 전략적 활용

"AI가 만든 데이터는 무조건 나쁘다"는 아니에요. '잘 통제된 합성 데이터(Synthetic Data)'는 오히려 유용할 수 있거든요. 합성 데이터라는 건 쉽게 말해서 AI가 일부러 만들어낸 학습용 데이터예요. 예를 들어 수학 문제 풀이 같은 경우, 정답이 명확하니까 AI가 만든 풀이 과정도 검증 가능해요. 이렇게 검증된 합성 데이터는 모델 성능을 오히려 향상시킬 수 있어요.

Anthropic의 Claude나 OpenAI의 o1 같은 추론 모델들은 이런 합성 데이터를 적극 활용해서 만들어졌어요. 핵심은 '무작위로 섞이는 오염'과 '의도적으로 설계된 합성'을 구분하는 거예요.

3. 워터마킹 기술

Google은 SynthID라는 기술을 발표했어요. AI가 생성한 텍스트나 이미지에 사람 눈에는 안 보이지만 기계는 감지할 수 있는 '디지털 워터마크'를 심는 기술이에요. 이러면 학습 데이터를 수집할 때 "이건 AI가 만든 거니까 제외" 하는 식으로 필터링할 수 있죠. 다만 이게 표준이 되려면 모든 AI 회사가 동참해야 하는데, 아직 갈 길이 멀어요.

4. 인간 피드백 강화 (RLHF의 진화)

RLHF(Reinforcement Learning from Human Feedback)라는 게 있어요. 쉽게 말하면 "사람이 AI 답변을 평가하고, 그 평가를 바탕으로 AI를 다시 학습시키는 방법"이에요. 이 과정에서 사람의 판단이 계속 주입되니까, 순수한 'AI 순환'에서 벗어날 수 있어요.

한국 개발자에게는 어떤 의미일까

자, 이제 우리 이야기로 돌아와볼게요. 한국에서 개발하면서 AI를 활용하는 입장에서 이 문제가 어떤 의미일까요?

1. 검색 결과를 더 비판적으로 봐야 해요

구글이나 네이버에서 기술 문제를 검색할 때, 상위에 뜨는 글이 무조건 정답이 아닐 수 있어요. 특히 "~하는 5가지 방법", "~를 위한 완벽 가이드" 같은 제목의 글들은 AI 생성일 가능성이 높거든요. 이런 글은 그럴듯해 보이지만 실제로 코드를 돌려보면 동작하지 않는 경우가 많아요.

실무 팁을 드리자면, 공식 문서를 1순위로, GitHub의 실제 issue나 PR을 2순위로, 그리고 사람이 쓴 게 확실한 블로그(개인 경험담, 구체적인 트러블슈팅 기록)를 3순위로 참고하는 습관을 들이는 게 좋아요.

2. AI 활용 시 '검증 루프'를 만드세요

ChatGPT나 Claude에게 코드를 받았을 때, 그대로 복붙하지 마세요. 특히 라이브러리 함수명이나 API 사용법은 환각이 자주 나오는 영역이에요. 받은 코드는 반드시 공식 문서로 한 번 더 확인하고, 작은 단위로 직접 실행해보는 루틴을 만드세요.

예를 들어 "FastAPI로 WebSocket 구현하는 코드 알려줘"라고 했을 때, AI가 알려준 코드의 import 경로와 함수 시그니처를 FastAPI 공식 문서와 대조해보는 거예요. 5분이면 돼요.

3. 사람이 쓴 콘텐츠의 가치가 더 올라가요

역설적으로 이 시대에 '진짜 경험에서 우러난 글'의 가치가 더 높아져요. 여러분이 개발하면서 겪은 시행착오, 특정 버그를 잡은 과정, 새로운 라이브러리를 써본 솔직한 후기 같은 것들요. 이런 글은 AI가 만들어낼 수 없거든요.

블로그를 쓰거나 기술 글을 쓸 때, "AI가 쓰지 못할 글"을 쓰는 걸 목표로 해보세요. 구체적인 숫자, 실제 화면 캡처, 본인이 겪은 에러 메시지, 동료와 나눈 대화 같은 것들이 들어가면 그게 진짜 자산이 돼요.

4. 한국어 데이터의 특수성

영어권에 비해 한국어 AI 학습 데이터는 양이 훨씬 적어요. 그런데 한국어 콘텐츠 중 AI 생성 비율이 빠르게 늘고 있거든요. 이 말은 한국어 AI 모델의 '모델 붕괴' 위험이 영어 모델보다 더 빠를 수 있다는 뜻이에요.

네이버의 HyperCLOVA X나 카카오의 모델들이 이 문제를 어떻게 다루는지 주목해볼 만해요. 그리고 한국어로 글을 쓰는 우리 개발자들의 역할이 더 중요해진다는 의미이기도 해요.

앞으로 어떻게 될까

솔직히 말하면, 이 문제의 끝이 어떻게 될지는 아무도 몰라요. 몇 가지 시나리오를 그려볼 수 있어요.

낙관적 시나리오는 워터마킹과 데이터 검증 기술이 발전해서 AI 생성 콘텐츠와 사람 콘텐츠를 구분하는 시스템이 자리잡는 거예요. 그러면 AI는 사람 콘텐츠로만 학습하고, 합성 데이터는 통제된 환경에서만 쓰이게 되겠죠.

중간 시나리오는 인터넷이 두 갈래로 나뉘는 거예요. 'AI 마음대로 쓰는 공간'과 '사람이 검증한 공간'으로요. 이미 Reddit이나 Stack Overflow가 AI 콘텐츠 정책을 강화하면서 이 방향으로 가고 있어요.

비관적 시나리오는 인터넷 콘텐츠의 신뢰도가 전반적으로 떨어지면서, 사람들이 다시 '책'이나 '오프라인 강의' 같은 검증된 정보원으로 회귀하는 거예요. 그러면 디지털 시대 초기로 돌아가는 셈이죠.

어떤 시나리오가 펼쳐지든, 개발자로서 우리가 할 수 있는 건 '사람만이 만들 수 있는 가치'를 계속 만들어내는 것이에요. AI는 도구로 쓰되, 우리의 사고와 경험은 우리 것으로 남겨두는 거죠.

여러분은 어떻게 생각하세요? 최근에 검색하다가 "이거 AI가 쓴 것 같은데?" 싶은 글을 본 적 있나요? 혹시 본인이 운영하는 서비스나 블로그에서 AI 콘텐츠와 사람 콘텐츠를 구분하는 정책을 고민하고 계신가요? 댓글로 경험을 나눠주시면 좋겠어요. 이 'AI 순환의 함정'을 함께 빠져나갈 지혜를 모아봐요.