Git이 버거워지는 순간을 위한 버전 관리 시스템 'Lore'

매일 쓰는 Git, 덩치가 커지면 의외로 힘들어해요

개발하는 분이라면 Git 안 써본 사람은 거의 없을 거예요. 그런데 Git이 처음 세상에 나온 게 2005년이거든요. 리누스 토르발스가 리눅스 커널을 관리하려고 후딱 만든 도구인데, 그 당시 기준으로는 정말 혁신적이었어요. 문제는 20년이 지난 지금, 회사들이 다루는 코드 규모가 그때랑은 비교가 안 되게 커졌다는 거예요. 수백만 줄짜리 모노레포(여러 프로젝트를 저장소 하나에 몰아넣는 방식이에요)에다가, 머신러닝 모델 파일이나 게임 그래픽 에셋처럼 수 GB짜리 바이너리까지 들어가기 시작하면, Git이 슬슬 숨을 헐떡이거든요.

왜 그러냐면, Git은 '모든 역사를 전부 다 들고 다닌다'는 철학으로 설계됐어요. 저장소를 clone 하면 프로젝트가 시작된 첫 커밋부터 지금까지의 모든 변경 이력이 내 컴퓨터로 통째로 복사돼요. 작은 프로젝트야 순식간이지만, 10년 묵은 대형 저장소는 이게 수십 GB가 되기도 하고, clone 한 번에 한참이 걸려요. git status 한 번 치는 데 몇 초씩 멈추는 경험, 큰 저장소 만져본 분들은 다 아실 거예요.

Lore가 노리는 지점: 처음부터 '규모'를 염두에 둔 설계

이런 배경에서 나온 게 바로 Lore예요. 기존 Git의 단점을 패치로 때우는 게 아니라, 아예 처음부터 '확장성(scalability)'을 최우선 목표로 잡고 새로 만든 오픈소스 버전 관리 시스템이에요. 확장성이라는 게 거창한 말 같지만 쉽게 말하면 '저장소가 아무리 커져도 느려지지 않게 하겠다'는 뜻이에요.

대규모 환경에서 버전 관리 도구가 풀어야 하는 숙제가 몇 개 있어요. 첫째는 부분 복제예요. 전체 역사를 다 받지 않고, 내가 지금 작업할 부분만 골라서 가져오는 거죠. 둘째는 대용량 파일 처리인데, 코드 옆에 끼어 있는 큰 바이너리 파일을 똑똑하게 다루는 게 핵심이에요. 셋째는 빠른 상태 조회예요. 파일이 수십만 개여도 'status'나 'diff'가 즉각 나와야 하는데, 보통 운영체제의 파일시스템 변경 감지 기능을 끌어다 쓰거나 서버 쪽에 미리 인덱스를 만들어두는 식으로 해결해요. Lore도 바로 이 지점들을 정조준하고 있어요.

사실 큰 회사들은 이미 다 겪은 고통이에요

재밌는 건, 'Git이 규모에서 버틴다 못 버틴다'는 논쟁이 처음 나온 게 아니라는 거예요. 페이스북(메타)은 사내 거대 저장소 때문에 결국 Sapling이라는 자체 버전 관리 시스템을 만들어 오픈소스로 풀었고, 구글은 내부적으로 Piper라는 초거대 모노레포를 굴리면서 Jujutsu(jj)라는 새 도구를 오픈소스로 내놨어요. 게임 업계는 아예 Git을 안 쓰고 대용량 에셋에 강한 Perforce를 쓰는 곳이 아직도 많고요. 마이크로소프트는 윈도우 소스를 Git에 올리려고 VFS for Git이라는 가상 파일시스템까지 만들었어요.

그러니까 Lore는 '완전히 새로운 발상'이라기보다는, 이 대기업들이 각자 비공개로 풀던 숙제를 처음부터 누구나 쓸 수 있는 오픈소스 형태로 정면 돌파해보겠다는 시도에 가까워요. 이게 의미가 있는 이유는, Sapling이나 jj가 좋긴 한데 결국 Git 생태계(깃허브, CI 같은 것들)와 매끄럽게 붙는 게 늘 과제였거든요.

한국 개발자에게는 어떤 의미일까요

한국도 남 일이 아니에요. 규모 있는 IT 회사들은 모노레포 도입을 점점 늘리고 있고, 게임사들은 여전히 무거운 에셋 때문에 버전 관리에 골치를 앓아요. ML/데이터 팀은 수 GB짜리 모델과 데이터셋을 어떻게 버전 관리할지가 늘 고민이고요. 당장 회사 메인 저장소를 Lore로 갈아엎으라는 얘기는 아니에요. 그건 리스크가 크죠. 다만 이런 새 도구들이 '왜 나왔는지', '어떤 문제를 푸는지'를 이해해두면, 나중에 우리 저장소가 느려졌을 때 원인을 정확히 짚고 대안을 떠올릴 수 있어요. 개인 프로젝트나 사이드 저장소에 한번 얹어보면서 감을 잡아보는 것도 좋고요.

핵심만 한 줄로 정리하면, Lore는 'Git이 커지면 느려진다'는 오래된 통증을, 대기업 전유물이 아니라 오픈소스로 풀어보려는 도전이에요. 여러분은 지금 다루는 저장소에서 Git이 느려진다고 느낀 적 있나요? 있다면 어떤 상황에서 가장 답답했는지 댓글로 나눠봐요.