윈도우 프로그램을 윈도우 없이 돌린다? 'Sogen'으로 이해하는 유저스페이스 에뮬레이션

윈도우 프로그램을, 윈도우 없이 돌린다고요?

Sogen(소겐)이라는 프로젝트가 있는데요, 한 줄로 요약하면 '윈도우와 리눅스 프로그램을 실제 운영체제 없이 흉내 내서 실행하는 고성능 유저스페이스 에뮬레이터'예요. 말이 좀 어렵죠? 하나씩 풀어볼게요.

먼저 '에뮬레이터(emulator)'는 어떤 환경을 소프트웨어로 흉내 내는 프로그램이에요. 옛날 게임기 게임을 PC에서 돌리는 게임 에뮬레이터를 떠올리면 쉬워요. CPU와 주변 환경을 코드로 따라 해서, 원래 그 환경에서만 돌던 프로그램을 다른 데서 돌리는 거죠.

그럼 '유저스페이스(userspace)'는 뭐냐면요. 운영체제는 크게 두 층으로 나뉘어요. 하드웨어를 직접 주무르는 핵심부인 '커널(kernel)'과, 우리가 만든 앱들이 도는 영역인 '유저스페이스'예요. 앱은 평소에 커널한테 '파일 좀 열어줘', '메모리 좀 줘' 하고 부탁하면서 일하거든요. 이 부탁을 '시스템 콜(system call)'이라고 불러요.

그래서 뭐가 특별한데요

보통 윈도우 프로그램을 다른 OS에서 돌리는 방법은 두 가지였어요.

첫째는 QEMU 같은 '전체 시스템 에뮬레이션'이에요. CPU부터 가상 디스크, 네트워크 카드까지 컴퓨터 한 대를 통째로 흉내 내고, 그 위에 윈도우를 통째로 설치해서 돌리는 방식이죠. 뭐든 다 되지만 무겁고 느려요. 컴퓨터 안에 컴퓨터를 또 켜는 셈이니까요.

둘째는 Wine 같은 '호환 계층'이에요. Wine은 사실 이름부터가 'Wine Is Not an Emulator(와인은 에뮬레이터가 아니다)'예요. CPU를 흉내 내는 게 아니라, 윈도우 앱이 부르는 API를 리눅스용으로 똑같이 다시 구현해놔서 거의 네이티브 속도로 돌리거든요. 빠르지만, 윈도우 API를 일일이 따라 만들어야 해서 호환 안 되는 프로그램이 종종 생겨요.

Sogen은 이 둘 사이를 노려요. 컴퓨터 전체를 흉내 내는 대신, '윈도우 프로세스 하나가 도는 유저스페이스 환경'만 정밀하게 흉내 내요. 실행 파일(.exe)을 직접 읽어 들이고, CPU 명령어를 에뮬레이션하고, 프로그램이 호출하는 시스템 콜과 ntdll 같은 핵심 라이브러리를 가짜로 제공해요. 그러면 그 프로그램은 '어, 나 지금 윈도우 위에서 잘 돌고 있네?' 하고 착각하면서 실행되는 거죠. 무거운 커널 전체를 안 띄워도 되니 전체 에뮬레이션보다 가볍고, '고성능'을 내세우는 이유가 여기 있어요. 최근에는 윈도우뿐 아니라 리눅스 유저스페이스까지 다룰 수 있게 확장됐고요.

이걸 어디에 쓰나요

가장 와닿는 분야는 보안, 특히 악성코드 분석이에요. 정체불명의 .exe 파일이 진짜 뭘 하는지 보려면 어딘가에서 실행해봐야 하는데, 진짜 윈도우에서 돌리면 감염 위험이 있잖아요. Sogen 위에서 돌리면 그 프로그램이 어떤 시스템 콜을 부르는지, 어떤 파일이나 네트워크에 접근하는지를 한 줄 한 줄 통제하면서 관찰할 수 있어요. 가상머신 한 대를 켜는 것보다 가볍고, 환경을 똑같이 재현하기도 쉬워서 분석을 자동화하기에 좋아요.

그 외에도 보안 연구에서 입력을 마구 넣어보며 버그를 찾는 '퍼징(fuzzing)', 특정 함수만 격리해서 동작을 들여다보는 분석, OS 의존성을 줄인 자동화 테스트 같은 데에도 활용할 수 있어요.

한국 개발자에겐

당장 모든 사람이 쓸 도구는 아니에요. 하지만 보안·리버스 엔지니어링 쪽에 관심이 있다면 꼭 한 번 들여다볼 만해요. '에뮬레이션 / 호환 계층 / 가상화'가 서로 어떻게 다른지를 Sogen이라는 구체적인 예로 정리해두면, 나중에 QEMU·Wine·도커·VM 같은 기술을 고를 때 머릿속이 훨씬 명쾌해지거든요. 또 윈도우 내부 구조(PE 실행 파일 포맷, ntdll, 시스템 콜)를 공부하는 살아있는 교재로도 좋아요.

한 줄 정리

Sogen은 '필요한 만큼만 흉내 낸다'는 발상으로, 전체 에뮬레이션의 무거움과 호환 계층의 한계 사이를 파고든 도구예요. 여러분이라면 의심스러운 실행 파일을 분석할 때, 가상머신을 통째로 띄우는 방식과 이런 유저스페이스 에뮬레이터 중 어느 쪽을 먼저 손에 잡으시겠어요?