모든 게 거짓이 되는 시대, 우리는 어디로 가야 할까

진실이 희미해지는 풍경

분산 시스템 연구자로 잘 알려진 Kyle Kingsbury(aphyr)가 긴 에세이를 썼어요. 제목은 "모든 것의 미래는 거짓인 것 같다: 이제 어디로 갈까"예요. 기술 블로그라기보다는 엔지니어의 관점에서 쓴 시대 비평문에 가까워요. 그런데도 많은 개발자가 공감한 이유는, 우리가 매일 만지는 시스템들이 점점 "진짜"와 "가짜"를 구분할 수 없는 방향으로 흘러가고 있다는 위기감 때문이에요.

생성형 AI가 만든 이미지, 음성, 문서가 일상에 스며들면서 사진 한 장, 녹음 파일 한 개가 과거처럼 증거로서 작동하지 않게 됐잖아요. 필자는 이걸 단순히 "딥페이크 문제"로 축소해서 보지 않아요. 오히려 사회 전반의 신뢰 인프라가 흔들리고 있다는 관점에서 접근합니다.

엔지니어가 왜 이 문제를 다뤄야 하나요

필자의 핵심 주장은 이거예요. 우리가 만든 시스템이 이 혼란에 상당 부분 책임이 있다는 거죠. 알고리즘 추천, 무한 스크롤, 대규모 언어모델, 합성 미디어 생성 도구 모두 엔지니어들이 설계하고 배포한 결과물이에요. "난 그냥 엔진을 만들 뿐"이라는 태도는 더 이상 유효하지 않다고 말합니다.

특히 그는 콘텐츠의 출처 증명(provenance) 문제를 깊게 다뤄요. 이게 뭐냐면, 어떤 이미지나 글이 언제, 누가, 어떤 기기로 만들었고 그 후 누구를 거쳐 왔는지를 암호학적으로 증명하는 기술이에요. C2PA(Coalition for Content Provenance and Authenticity)라는 표준이 몇 년째 추진되고 있고, Adobe, Microsoft, BBC 같은 곳들이 참여하고 있죠. 다만 필자는 이 기술이 만능이 아니라고 지적해요. 결국 서명을 검증하는 클라이언트를 누가 만들고, 어떤 기관이 신뢰 앵커가 될지가 남은 숙제라는 거예요.

또 분산 신원(decentralized identity) 과 웹 오브 트러스트 같은 오래된 개념도 다시 꺼냅니다. PGP가 수십 년 전에 시도했던 것처럼, 사람 사이의 신뢰 관계를 암호학적으로 연결하는 구조가 다시 필요해질 거라는 전망이에요. 다만 PGP의 실패에서 배운 것처럼, UX가 감당 가능한 수준이 아니면 절대 확산되지 않는다는 점도 짚고 넘어갑니다.

기술만으로는 안 된다는 지점

글의 후반부에서 필자는 기술 결정론에 거리를 둬요. 서명 체계를 아무리 정교하게 만들어도, 사람들이 "뭐가 진짜인지 굳이 확인하지 않는" 문화적 습관이 생기면 무용지물이라는 거죠. 그래서 그는 언론 리터러시, 교육, 규제, 플랫폼 책임 같은 비기술적 레이어가 함께 가야 한다고 주장합니다.

그리고 엔지니어가 해야 할 일로 몇 가지를 제시해요. 첫째, 내가 만드는 도구가 어떤 정보 생태계에 기여하는지 구체적으로 상상해볼 것. 둘째, 합성 콘텐츠를 식별하고 출처를 보존하는 인프라를 오픈소스로 밀어줄 것. 셋째, 직장에서 윤리적 저항선을 명확히 할 것. 넷째, 이런 이슈에 관심 있는 동료들의 네트워크를 만들 것.

업계 맥락에서 보면

최근 몇 년간 비슷한 문제의식이 여러 곳에서 터져 나오고 있어요. EU의 AI Act는 생성 콘텐츠에 라벨을 붙이도록 의무화했고, 미국에서도 NIST가 합성 미디어 탐지 가이드라인을 내놓고 있죠. 기업 쪽에서는 OpenAI, Google이 자사 모델 출력에 워터마크를 넣는 시도를 하고 있어요. 다만 워터마크는 쉽게 지워진다는 연구 결과가 계속 나와서 근본 해법은 아니에요.

반대 방향의 흐름도 있어요. "굳이 진짜를 가릴 필요 없다, 재미있으면 그만"이라는 포스트 트루스(post-truth) 정서가 특히 짧은 영상 플랫폼에서 빠르게 자리 잡고 있고요. 이 간극이 앞으로 몇 년간 더 벌어질 거라는 게 필자의 우려예요.

한국 개발자에게 주는 시사점

한국은 이 논의에서 좀 독특한 위치에 있어요. 딥페이크 관련 범죄가 이미 사회 문제로 크게 불거졌고, 플랫폼법 논의도 활발하거든요. 콘텐츠 플랫폼을 만드는 분이라면 C2PA나 유사 출처 증명 메타데이터를 미리 공부해두면 유용해요. 곧 "어떤 이미지가 AI 생성인지 표시하라"는 요구가 제품 수준의 기능으로 내려올 거라서요.

AI 스타트업에 계신 분이라면, 자사 모델의 출력물에 식별자나 워터마크를 넣는 설계를 처음부터 고려하는 게 좋아요. 나중에 끼워 넣으려면 훨씬 비쌉니다. 또 사내 보안 관점에서도 음성/영상 딥페이크를 악용한 피싱이 실제로 발생하고 있어서, 내부 커뮤니케이션에 콜백 검증 같은 절차를 도입하는 걸 적극 추천드려요.

그리고 개인적으로도 생각해볼 만해요. 내가 짜는 코드가 정보 생태계에 어떤 결을 더하는지, 가끔은 한 발 물러나서 조망해보는 시간이 필요한 시대가 된 것 같아요.