마인크래프트 역사상 가장 큰 규모의 월드 데이터가 통째로 공개됐어요. 용량이 무려 15TB(테라바이트)인데요. 주인공은 2b2t라는 서버예요. 2010년 12월부터 지금까지 단 한 번도 월드를 초기화하지 않고 운영된, 마인크래프트에서 가장 오래된 '무정부(anarchy)' 서버거든요. 무정부 서버가 뭐냐면, 말 그대로 규칙이 없는 서버예요. 운영자의 개입도, 밴도, 채팅 검열도 없어요. 파괴, 약탈, 핵 클라이언트 사용까지 전부 허용되는 인터넷의 무법지대 같은 곳이죠. 이번에 공개된 건 그 서버의 스폰(플레이어가 처음 떨어지는 지점)을 중심으로 한 사방 100만 블록 영역의 월드 데이터예요.
15TB가 어느 정도냐면요
친구들끼리 몇 년 돌린 마인크래프트 서버의 월드가 보통 수백 MB에서 수 GB 정도예요. 15TB면 그것의 수천 배가 넘는 규모죠. 마인크래프트가 세계를 저장하는 방식을 알면 이 숫자가 더 실감 나는데요. 게임은 세계를 청크(chunk)라는 가로세로 16블록짜리 기둥 단위로 쪼개서 관리하고, 이 청크들을 리전 파일이라는 압축 파일에 묶어서 디스크에 저장해요. 게임이 한 번이라도 생성한 청크는 전부 파일로 남거든요. 15년 넘게 수십만 명이 사방으로 수백만 블록씩 걸어가고, 파고, 짓고, 부순 흔적이 전부 누적된 결과가 15TB인 거예요.
이 안에 뭐가 들어 있냐면
2b2t의 스폰 주변은 게임 지형이라고 믿기 어려운 모습으로 유명해요. 도착하는 족족 서로를 공격하고, 지형을 폭파하고, 자원을 긁어간 결과 나무 한 그루 없이 베드락(맵 최하단의 부술 수 없는 돌)까지 파헤쳐진 황무지가 됐거든요. 달 표면 같다는 표현이 딱이에요. 그 바깥으로는 플레이어들이 오랜 세월 쌓아 올린 거대 건축물, 버려진 기지, 그리고 수백만 블록을 잇는 고속도로 같은 구조물들이 남아 있어요. 말하자면 게임 데이터인 동시에, 15년치 온라인 사회의 지층이 그대로 굳은 화석 같은 거죠.
15TB를 어떻게 나눠주냐는 것도 기술 문제예요
이 정도 용량은 배포 자체가 도전이에요. 일반적인 웹 서버에서 HTTP로 내려받게 하면 트래픽 비용이 감당이 안 되거든요. 그래서 이런 초대형 데이터는 보통 토렌트처럼 받는 사람들끼리 조각을 나눠주는 P2P 방식이나, 영역별로 쪼갠 부분 다운로드 형태로 제공돼요. 받는 쪽도 만만치 않아요. 15TB를 담으려면 고용량 HDD를 여러 개 묶어야 하고, 압축을 풀어 렌더링하려면 그 나름의 처리 파이프라인이 필요하죠. 큰 데이터를 다뤄본 분들이라면 '받는 것부터가 프로젝트'라는 말이 무슨 뜻인지 아실 거예요.
게임 월드도 보존할 가치가 있는 기록이에요
이번 공개가 흥미로운 건 디지털 아카이빙 관점에서예요. 인터넷 아카이브가 사라지는 웹페이지를 보존하듯, 수십만 명이 15년간 함께 만든 가상 세계도 하나의 문화적 기록이거든요. 온라인 게임 서버는 운영이 끝나면 그 세계가 통째로 증발하는 게 보통인데, 이렇게 데이터가 공개되면 누구든 그 역사를 탐험하고 연구할 수 있게 돼요. 유저 생성 콘텐츠의 보존이라는, 앞으로 점점 중요해질 주제의 좋은 선례인 셈이죠.
한국 개발자에게도 재미있는 놀잇감이에요. 대용량 데이터 처리 연습 소재로 이만한 게 없거든요. 리전 파일 포맷을 파싱해서 블록 통계를 내보거나, 일부 영역만 받아서 웹 기반 지도 뷰어를 만들어보는 것도 훌륭한 사이드 프로젝트가 될 거예요. 15년치 인간 군상이 담긴 15TB, 여러분이라면 이 데이터로 뭘 해보고 싶으세요?
🔗 출처: Hacker News