Redox OS가 보여주는 차세대 보안 모델: Capability 기반 네임스페이스 관리

운영체제 보안, 근본부터 다시 생각하기

Rust로 작성된 마이크로커널 운영체제 Redox OS가 흥미로운 보안 기능을 발표했어요. 네임스페이스(Namespace)와 현재 작업 디렉토리(CWD)를 "Capability"로 관리하겠다는 건데요, 이게 뭔 소리인지 차근차근 풀어볼게요.

먼저 Capability 기반 보안이라는 개념부터 알아야 해요. 우리가 쓰는 대부분의 운영체제(리눅스, 윈도우, macOS)는 "접근 제어 목록(ACL)" 방식으로 보안을 관리해요. 쉽게 비유하면, 건물 입구에 경비원이 서서 "이 사람은 들어갈 수 있고, 저 사람은 안 돼"라고 명단을 확인하는 방식이에요. 반면 Capability 기반 보안은 열쇠를 가진 사람만 문을 열 수 있는 방식이에요. 열쇠(Capability)가 곧 권한인 거죠. 열쇠를 갖고 있으면 접근할 수 있고, 없으면 아예 접근할 방법이 없어요.

Redox OS가 한 일

Redox OS의 이번 업데이트는 NLnet 재단의 지원을 받아 진행된 프로젝트인데요, 핵심은 두 가지예요.

첫 번째는 네임스페이스를 Capability로 만든 거예요. 네임스페이스가 뭐냐면, 프로세스가 바라보는 시스템 자원의 "뷰(view)"라고 생각하면 돼요. 예를 들어, 리눅스에서 /dev 디렉토리를 보면 시스템의 모든 장치 파일이 있잖아요. 그런데 Redox OS에서는 각 프로세스가 자기만의 네임스페이스를 가질 수 있어서, 어떤 프로세스는 네트워크 장치만 보이고, 어떤 프로세스는 파일 시스템만 보이게 설정할 수 있어요. 그리고 이 네임스페이스 자체가 하나의 Capability로 관리되니까, 프로세스에게 "네가 볼 수 있는 세상의 범위" 자체를 제한할 수 있는 거예요.

두 번째는 현재 작업 디렉토리(CWD)도 Capability로 다루는 거예요. 보통 프로세스의 CWD는 그냥 경로 문자열이잖아요. /home/user/projects 같은. 그런데 Redox OS에서는 CWD 자체가 파일 디스크립터(fd) 형태의 Capability로 관리돼요. 이게 왜 중요하냐면, 경로 문자열로 파일에 접근하면 중간에 심볼릭 링크를 따라가거나, 상위 디렉토리로 탈출하는 등의 공격이 가능하거든요. 하지만 Capability 기반이면 발급받은 권한 범위 밖으로는 절대 나갈 수 없어요. 이건 리눅스의 openat() 시스템 콜 철학과도 비슷한데, Redox OS는 이걸 운영체제 설계 차원에서 근본적으로 적용한 거예요.

기존 방식과 뭐가 다른가요?

리눅스에서도 비슷한 보안 격리를 할 수 있긴 해요. 컨테이너(Docker)가 대표적이죠. 리눅스의 namespace, cgroup, seccomp 같은 기능들을 조합해서 프로세스를 격리하는 건데요. 문제는 이 방식이 "기존 커널 위에 보안 레이어를 얹는" 것이라서 복잡하고 빈틈이 생길 수 있다는 거예요. 실제로 컨테이너 탈출(container escape) 취약점이 주기적으로 발견되잖아요.

Redox OS의 접근법은 다릅니다. 커널 자체가 마이크로커널이라서 커널 안에서 돌아가는 코드가 최소한이고, 파일 시스템이나 네트워크 드라이버 같은 것들이 전부 사용자 공간(user space)에서 별도의 프로세스로 돌아가요. 거기에 Capability 기반 보안까지 더하면, 어떤 프로세스가 해킹당해도 그 프로세스가 가진 Capability 범위 밖의 자원에는 접근 자체가 불가능해지는 거죠.

비슷한 철학을 가진 다른 프로젝트도 있어요. 구글의 Fuchsia OS도 Capability 기반 보안 모델을 사용하고, seL4 마이크로커널도 형식 검증(formal verification)까지 거친 Capability 시스템을 갖고 있어요. WebAssembly의 WASI(WebAssembly System Interface)도 Capability 기반 파일 접근을 사용하는데요, 이런 흐름을 보면 Capability 기반 보안이 미래 운영체제와 런타임의 중요한 방향성 중 하나라는 걸 알 수 있어요.

Rust와 마이크로커널의 시너지

Redox OS가 Rust로 작성됐다는 점도 중요한 맥락이에요. Rust의 메모리 안전성 보장이 커널 수준에서 작동하면, C로 작성된 기존 커널에서 흔히 발생하는 버퍼 오버플로우, use-after-free 같은 메모리 취약점을 원천적으로 방지할 수 있거든요. 마이크로커널 설계 + Rust 메모리 안전성 + Capability 기반 보안, 이 세 가지가 합쳐지면 보안 관점에서는 상당히 견고한 구조가 만들어져요.

물론 Redox OS는 아직 범용 데스크톱 운영체제로 쓰기에는 초기 단계예요. 지원하는 하드웨어도 제한적이고, 애플리케이션 생태계도 부족하죠. 하지만 이런 실험적인 OS에서 검증된 개념들이 나중에 리눅스나 다른 메이저 OS에 영향을 주는 경우가 많거든요. 컨테이너 기술 자체가 Plan 9이라는 실험적 OS의 아이디어에서 많은 영향을 받은 것처럼요.

한국 개발자에게 어떤 의미가 있을까요?

당장 실무에서 Redox OS를 쓸 일은 거의 없을 거예요. 하지만 Capability 기반 보안 개념은 알아둘 가치가 충분해요. 클라우드 네이티브 환경에서 서비스의 권한을 최소화하는 "최소 권한 원칙(Principle of Least Privilege)"이 점점 더 중요해지고 있는데, Capability 기반 보안은 이 원칙을 시스템 수준에서 강제하는 방법이거든요. AWS의 IAM 정책이나 쿠버네티스의 RBAC도 넓은 의미에서 비슷한 철학이에요.

Rust로 시스템 프로그래밍에 관심 있는 분이라면 Redox OS의 소스 코드를 읽어보는 것도 좋은 공부가 될 거예요. 마이크로커널을 Rust로 어떻게 구현하는지, Capability를 실제 코드에서 어떻게 다루는지를 볼 수 있으니까요. Redox OS의 GitLab 저장소가 공개되어 있어서 누구나 소스를 확인할 수 있어요.