TECH 으로 돌아가기
TECH HACKER NEWS 9분 읽기 71 READS

안전한 Rust도 뚫린다: 표준 라이브러리 unsafe 코드의 세 가지 신뢰 함정

안전한 Rust도 뚫린다: 표준 라이브러리 unsafe 코드의 세 가지 신뢰 함정
SOURCE IMAGE · HACKER NEWS

Rust는 소유권 모델과 풍부한 타입 시스템으로 메모리 안전성 문제의 상당 부분을 언어 차원에서 차단한다. 그러나 Vec, String 같은 핵심 자료구조는 겉으로 드러나는 안전한 API 아래에 작은 unsafe 블록들을 감싸는 방식으로 구현된다. 마이크로소프트 FORGE 랩은 올해 표준 라이브러리(std와 core)를 집중 점검해, 전부 안전한 Rust로만 작성한 코드에서도 정의되지 않은 동작(undefined behavior)을 유발할 수 있는 건전성(soundness) 버그들을 찾아 Rust 이슈 트래커에 보고했다. 이 조사에는 FORGE가 코드명 MDASH의 연구용 버전으로 개발한 AI 기반 취약점 탐지 시스템 Hyenas가 활용됐다.

이 발견이 의미 있는 이유는 Rust가 더 이상 틈새 언어가 아니기 때문이다. 마이크로소프트는 Rust를 C++, C#, TypeScript와 함께 내부 Tier-1 언어로 지정했고, GitHub는 Copilot 에이전트 런타임을 Rust로 다시 작성했다. Bun, 안드로이드, 리눅스 커널, 클라우드플레어도 코드를 Rust로 옮기고 있다. 이들 대부분이 core와 std의 안전성 보장에 의존하는 만큼, 기반 라이브러리의 버그는 그 코드가 발생한 지점을 훨씬 넘어서는 파급력을 가진다.

문제의 본질: 무엇을 믿을 수 있는가

unsafe 블록 안에서는 컴파일러가 검증할 수 없는 보장을 프로그래머가 대신 책임지며, 그 책임은 블록을 감싼 안전한 API 전체로 확장된다. 즉 안전한 코드가 그 API를 어떻게 호출하든 정의되지 않은 동작이 발생해서는 안 된다. 이것을 지키기는 생각보다 어렵다. 예컨대 바이트 슬라이스로 볼 수 있는 타입에서 특정 인덱스의 바이트를 자체 경계 검사 후 반환하는 함수를 보자. 이 함수는 as_ref를 두 번 호출하면 같은 슬라이스가 돌아온다고 가정한다. 하지만 타입을 고르는 쪽은 호출자이고, 안전한 AsRef 구현이 처음에는 긴 슬라이스를, 두 번째에는 빈 슬라이스를 반환하면 범위를 벗어난 읽기가 발생한다. FORGE가 찾은 버그들은 이처럼 '잘못 둔 신뢰'의 세 가지 패턴으로 요약된다.

패턴 1: 패닉하지 않을 것이라는 신뢰

unsafe 코드는 흔히 불변식을 잠시 깨뜨렸다가 함수 끝에서 복원한다. 초기화되지 않은 버퍼를 할당하고 직접 채워 중복 쓰기를 피하는 식이다. 함수가 끝까지 실행되면 문제없지만, Rust의 많은 연산은 패닉할 수 있고 기본적으로 패닉은 소멸자를 실행하며 스택을 되감는다(unwinding). 깨진 상태 구간에서 되감기가 일어나면 그 불완전한 상태가 외부로 노출된다. 이른바 패닉 안전성 버그다. 연구진이 찾은 MapWindows::clone 사례에서는 새 버퍼를 먼저 만들고 나중에 채우는 구조였는데, 사용자의 T::clone이 채우기 전에 패닉하면 소멸자가 초기화되지 않은 값들에 drop_in_place를 실행해 충돌한다. 수정은 버퍼를 완전히 채울 때까지 ManuallyDrop으로 보관해, 되감기 시 반쯤 만들어진 버퍼를 drop하는 대신 누수시키도록 바꿨다. 교훈은 clone, drop, 비교, 클로저, 이터레이터처럼 내가 통제하지 못하는 호출을 모두 잠재적 조기 종료로 다루라는 것이다.

이 어려움은 최근 안정화된 Allocator API에서도 드러났다. std에서는 할당 실패가 기본적으로 되감기 대신 프로세스를 중단시키므로, 표준 라이브러리의 많은 unsafe 코드가 할당은 결코 되감기지 않는다고 가정한다. 하지만 커스텀 할당자는 이 가정을 깰 수 있다. FORGE는 BTreeMap::insert에서 할당자가 되감길 때 건전성이 깨지는 지점을 보고했고, 다른 이들도 추가 사례를 올렸다. 하나씩 고치려면 할당하는 모든 코드를 감사해야 하므로, 11월 12일 Rust 1.100으로 출시되는 안정화판은 구현자에게 트레이트 메서드와 drop에서 절대 되감기지 말 것을 요구하는 쪽을 택했다.

패턴 2·3: 사용자 구현과 시스템에 대한 신뢰

unsafe 코드는 비교자, 트레이트 구현, 클로저처럼 호출자가 제공한 코드를 자주 불러온다. 이 코드는 안전하지만 안전하다고 올바른 것은 아니다. C++의 std::sort는 비교자가 규칙을 어기면 그 자체가 정의되지 않은 동작이어서 벡터 끝을 넘어 읽을 수 있지만, Rust의 sort_by에 같은 비교자를 넘기면 패닉하거나 순서가 흐트러질 뿐 정의되지 않은 동작은 없다. 책임이 unsafe 코드 쪽에 있기 때문이다. 다만 이를 놓치기도 쉽다. 커스텀 Pattern을 쓴 str::replace가 UTF-8이 아닌 String을 만들어낸 사례가 그렇다. 빠른 경로가 1바이트 문자열 패턴을 ASCII로 가정했으나, StringPattern이 &[u8]을 담고 있어 다중바이트 시퀀스에만 나타나는 0x80 같은 바이트를 보고할 수 있었다. 수정은 StringPattern이 &str을 담도록 바꿔 타입 자체가 UTF-8을 보장하게 했다. 비슷한 맥락에서 join은 2020년 CVE-2020-36323로 Borrow::borrow가 매번 같은 문자열을 반환한다는 신뢰 문제를 고쳤지만, 2026년 4월 첫 요소가 두 번째 호출에서 커지면 길이 계산이 언더플로해 힙 오버플로가 나는 경로가 남아 다시 손봐야 했다.

세 번째 패턴은 운영체제와의 경계에 있다. 시그널 스택, 메모리 매핑, 환경 변수처럼 다른 스레드나 C 라이브러리, 커널이 언제든 건드릴 수 있는 프로세스 전역 상태를 unsafe 코드가 신뢰하는 경우다. 스택 오버플로 시 Rust는 가드 페이지, 시그널 핸들러, 대체 시그널 스택이라는 전역 상태 조합에 기대어 맨 segfault 대신 명확한 메시지를 출력하고 중단한다. 이런 영역은 정적 분석기가 주변 동작을 모두 모델링해야 해 자동 탐지가 어려웠지만, 코드가 실행되는 환경을 이해하는 AI 에이전트가 실질적인 탐색을 가능하게 했다는 것이 연구진의 설명이다.

실무적 의미와 한계

이 조사가 전하는 핵심은 Rust의 안전성 모델이 완벽하지 않더라도 여전히 중요하다는 점이다. 같은 실수가 C++에서는 즉각 정의되지 않은 동작으로 이어지지만, Rust에서는 책임이 unsafe 코드로 집중되어 감사 대상이 명확하게 좁혀진다. 실무자 입장에서 교훈은 구체적이다. 사용자 제공 구현의 속성에 의존할 때는 결과를 한 번만 받아 저장하거나, 반환값을 검증하거나, 안전한 코드가 위조할 수 없는 타입으로 속성을 인코딩하라는 것이다. 어느 것도 안 되면 트레이트를 unsafe로 선언해 구현자가 보장을 명시적으로 약속하게 만들어야 한다. 다만 보고된 버그 상당수가 나이틀리 API나 특수한 커스텀 구현을 전제로 하며, split_once와 Pattern API의 일부 문제는 아직 열린 채 남아 있다. 이 글이 다루는 것은 표준 라이브러리 unsafe 코드의 건전성 버그에 한정되고, 컴파일러 자체의 오역이나 타입 시스템의 허점은 별개의 주제다. 결국 Rust가 막아주는 범위와 여전히 개발자가 떠안아야 할 책임의 경계를 정확히 아는 것이, 이 언어로 billions 규모의 소프트웨어를 떠받치는 시대의 전제 조건인 셈이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://forge-blog.github.io/posts/rust-std-memory-safety/
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...