좋아하는 웹사이트, 사라지기 전에 백업하세요: 개발자를 위한 웹 아카이빙 실전 가이드

웹은 생각보다 훨씬 빨리 사라져요

즐겨찾기에 저장해둔 링크를 몇 년 만에 눌렀더니 404 Not Found가 뜬 적, 다들 있으시죠? 이걸 링크 로트(link rot)라고 불러요. 링크가 썩어서 더 이상 원래 내용을 가리키지 못하는 현상이에요.

최근 공개된 'If you love a website, back it up(웹사이트를 사랑한다면, 백업하세요)'라는 글은 이 문제를 정면으로 다뤄요. 메시지는 단순해요. 소중한 웹사이트가 언제까지나 그 자리에 있을 거라고 믿지 말고, 아끼는 사이트가 있다면 직접 보관하라는 거예요. 누군가 대신 해주겠지 하는 기대는 생각보다 자주 무너지거든요.

숫자로 보면 더 실감이 나요. 2024년 퓨 리서치 센터 조사를 보면, 2013년에 있던 웹페이지 중 약 38%가 10년 뒤에는 접근할 수 없게 됐어요. 한국도 다르지 않아요. 프리챌이 문을 닫으면서 수많은 커뮤니티 기록이 날아갔고, 2023년에는 이글루스가 서비스를 종료하면서 2000년대 블로그 문화의 상당 부분이 사라졌어요. 싸이월드 사진첩을 둘러싼 소동도 기억하실 거예요.

'인터넷 아카이브가 있잖아'로는 부족한 이유

웹 백업 하면 많은 분들이 인터넷 아카이브의 웨이백 머신(Wayback Machine)부터 떠올려요. 정말 고마운 서비스지만, 여기에만 기대기엔 불안한 이유가 있어요.

모든 페이지를 저장하지는 않아요. 로그인이 필요한 페이지, 자바스크립트로 그려지는 페이지, 깊숙이 있는 하위 페이지는 특히 빠지기 쉬워요.
아카이브 자체도 위험에 노출돼 있어요. 2024년에는 해킹과 디도스 공격으로 한동안 서비스가 멈췄고, 저작권 소송에서 지기도 했어요.
한 곳에 모든 걸 맡기면 단일 장애점이 돼요. 개발자라면 이게 얼마나 무서운 말인지 아시죠?

결국 핵심은 백업의 기본 원칙과 같아요. 복사본이 여러 곳에, 여러 사람 손에 있어야 안전하다는 거예요.

실전: 개발자가 쓸 수 있는 웹 아카이빙 도구

다행히 쓸 만한 도구는 많아요. 상황별로 정리해볼게요.

정적 사이트를 통째로: wget

가장 오래됐으면서도 강력한 방법이에요. wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://example.com/ 한 줄이면 사이트 전체를 내려받고, 링크도 로컬에서 동작하게 바꿔줘요. 여기에 --wait=1 --random-wait를 붙여서 서버에 부담을 주지 않게 속도를 조절하는 게 예의예요.

페이지 하나를 완벽하게: SingleFile

브라우저 확장 프로그램인데요, 지금 보고 있는 페이지를 이미지와 CSS까지 전부 HTML 파일 하나에 담아 저장해줘요. 좋은 기술 블로그 글 하나를 보관하고 싶을 때 딱이에요.

자바스크립트로 그려지는 사이트: Webrecorder 계열 도구

요즘 사이트는 SPA인 경우가 많아서 wget으로 받으면 빈 껍데기만 남기 쉬워요. 이럴 땐 ArchiveWeb.page 확장으로 직접 브라우징한 내용을 그대로 기록하거나, Browsertrix Crawler처럼 헤드리스 브라우저로 크롤링하는 도구를 쓰면 돼요. 결과는 WACZ 파일로 남고, ReplayWeb.page에서 다시 열어볼 수 있어요.

나만의 아카이브 서버: ArchiveBox

직접 서버에 설치해서 쓰는 도구예요. URL을 넣으면 HTML, PDF, 스크린샷, WARC 등 여러 형식으로 한 번에 저장해줘요. 북마크를 주기적으로 넣어두면 나만의 웨이백 머신이 생기는 셈이죠.

여기서 WARC가 뭐냐면, 인터넷 아카이브도 쓰는 웹 아카이브 표준 포맷(ISO 28500)이에요. 요청과 응답을 통째로 기록하기 때문에 나중에 다른 도구로 옮기거나 공공 아카이브에 기증하기도 좋아요. 오래 보관할 생각이라면 표준 포맷을 고르는 게 현명해요.

한국 개발자에게 주는 시사점

우리가 일하면서 의지하는 지식은 상당 부분 개인 블로그와 회사 기술 블로그에 있어요. 막힌 문제를 풀어준 그 글이 언제 사라질지는 아무도 모르죠. 그래서 이런 습관을 추천해요.

결정적인 도움을 받은 글은 그 자리에서 SingleFile로 저장해 두세요. 팀 위키에 링크만 붙여두는 것보다 훨씬 안전해요.
내가 쓴 글도 백업 대상이에요. 블로그 플랫폼이 언제까지 운영될지 모르니 원고를 마크다운으로 따로 보관하거나, 플랫폼의 내보내기 기능을 주기적으로 써보세요.

마무리

한 줄로 정리하면, 웹은 영원하지 않으니 지키고 싶은 건 직접 지켜야 해요.

여러분은 사라져서 아쉬웠던 웹사이트나 블로그가 있나요? 그리고 지금 '이건 꼭 백업해둬야겠다' 싶은 사이트가 있다면 어디인가요?

🔗 출처: Hacker News