AWS S3가 파일 시스템이 된다 — S3 Files가 바꾸는 클라우드 스토리지의 판도

S3가 드디어 파일 시스템처럼 동작해요

AWS의 CTO Werner Vogels가 자신의 블로그에서 S3 Files라는 새로운 기능을 소개했어요. 한마디로 요약하면, 그동안 "객체 저장소(Object Storage)"로만 쓰이던 S3가 이제 파일 시스템(File System)처럼도 동작할 수 있게 됐다는 이야기예요.

이게 왜 큰 일이냐면, S3는 세계에서 가장 많이 쓰이는 클라우드 스토리지 서비스거든요. 거의 모든 클라우드 서비스가 어떤 식으로든 S3에 의존하고 있다고 해도 과언이 아니에요. 그런 S3의 근본적인 동작 방식이 확장된다는 건 클라우드 인프라 전체에 영향을 주는 변화예요.

객체 저장소와 파일 시스템, 뭐가 다른 건가요?

여기서 잠깐 기본 개념을 짚어볼게요. 우리가 컴퓨터에서 파일을 쓸 때는 파일 시스템을 사용해요. 폴더를 만들고, 파일을 열고, 내용 일부만 수정하고, 저장하는 식이죠. 이걸 기술적으로는 POSIX 파일 시스템이라고 하는데, 핵심은 파일을 열어두고 부분적으로 읽고 쓸 수 있다는 거예요.

반면 S3 같은 객체 저장소는 동작 방식이 달라요. 파일 하나가 "객체" 하나에 대응되고, 그 객체를 통째로 올리고(PUT), 통째로 내려받는(GET) 방식이에요. 파일의 중간 부분만 수정하고 싶어도 전체를 다시 업로드해야 했어요. 대신 확장성이 거의 무한하고, 비용이 저렴하다는 장점이 있었죠.

이 차이 때문에 개발자들은 오랫동안 고민해왔어요. "데이터는 S3에 저장하고 싶은데, 우리 애플리케이션은 파일 시스템 인터페이스를 기대하는데..." 하면서요. 그래서 S3 위에 파일 시스템처럼 동작하는 레이어를 만드는 서드파티 솔루션이 수없이 등장했어요. AWS 자체적으로도 EFS(Elastic File System)나 FSx 같은 별도 서비스를 제공했고요.

S3 Files는 이 문제를 어떻게 풀었나

S3 Files의 핵심은 S3 버킷에 직접 NFS나 SMB 같은 파일 시스템 프로토콜로 접근할 수 있게 해준다는 거예요. 이게 뭐냐면, 기존에 로컬 파일 시스템이나 네트워크 드라이브를 쓰던 애플리케이션이 코드 변경 없이 그대로 S3를 스토리지로 사용할 수 있다는 뜻이에요.

예를 들어볼게요. 머신러닝 학습 파이프라인에서 학습 데이터를 읽을 때, 기존에는 S3에서 데이터를 로컬로 복사한 다음 파일로 읽었어야 했어요. S3 Files를 쓰면 S3 버킷을 마치 로컬 디렉토리처럼 마운트해서 바로 읽을 수 있는 거예요. 데이터 복사 단계가 사라지니까 파이프라인이 훨씬 간단해지겠죠.

또 하나 중요한 건, 같은 데이터에 대해 S3 API와 파일 시스템 인터페이스를 동시에 사용할 수 있다는 점이에요. 데이터 엔지니어는 S3 API로 대량 데이터를 업로드하고, 데이터 사이언티스트는 파일 시스템으로 마운트해서 Jupyter 노트북에서 바로 접근하는 식의 워크플로우가 가능해져요.

업계 맥락 — 스토리지 통합의 흐름

이런 "객체 저장소 + 파일 시스템 통합" 시도는 사실 처음이 아니에요. MinIO는 S3 호환 객체 저장소이면서 다양한 접근 방식을 지원해왔고, Ceph는 처음부터 객체/블록/파일 스토리지를 하나의 시스템에서 제공하는 것을 목표로 했어요. GCP의 Cloud Storage FUSE나 Azure의 Blob NFS 같은 서비스도 비슷한 방향이에요.

하지만 AWS가 S3라는 사실상의 표준 서비스에 이 기능을 직접 넣었다는 건 무게감이 다르죠. 서드파티 솔루션은 성능이나 일관성에서 타협이 있었는데, S3 네이티브로 지원하면 이런 문제가 상당 부분 해소될 수 있어요.

한국 개발자에게 주는 시사점

AWS 위에서 서비스를 운영하는 한국 기업이라면 당장 관심을 가져볼 만한 변화예요. 특히 다음과 같은 상황에서 큰 도움이 될 수 있어요.

데이터 파이프라인에서 S3 ↔ 로컬 파일 시스템 간의 데이터 복사가 병목이 되는 경우, 레거시 애플리케이션이 파일 시스템 경로를 하드코딩하고 있어서 S3로 마이그레이션하기 어려운 경우, 또는 EFS 비용이 부담되지만 파일 시스템 인터페이스는 필요한 경우에 S3 Files가 좋은 대안이 될 수 있어요.

다만 성능 특성은 기존 파일 시스템과 다를 수 있으니, 지연시간에 민감한 워크로드에서는 충분한 테스트 후에 도입하는 게 좋겠어요.

한줄 정리

20년 넘은 S3가 파일 시스템의 옷까지 입으면서, "데이터를 어디에 저장할까"라는 고민이 한결 단순해졌어요.

여러분의 프로젝트에서 S3와 파일 시스템 사이에서 고민했던 경험이 있나요? S3 Files가 그 문제를 해결해줄 수 있을지 이야기 나눠봐요!