TECH 으로 돌아가기
TECH HACKER NEWS 7분 읽기 31 READS

OpenSSL EVP_EncodeBlock 버퍼 오버플로(CVE-2026-121481)와 '올바른 수정'을 둘러싼 논쟁

OpenSSL EVP_EncodeBlock 버퍼 오버플로(CVE-2026-121481)와 '올바른 수정'을 둘러싼 논쟁
SOURCE IMAGE · HACKER NEWS

OpenSSL의 Base64 인코딩 함수 EVP_EncodeBlock()에서 버퍼 오버플로가 발견돼 CVE-2026-121481로 등록됐다. CVSS 점수는 9.8로 최고 수준이며, 수정 작업은 공개 풀 리퀘스트(#33652)를 통해 진행됐다. 보안 권고문(advisory)은 아직 공개 대기 상태지만, OpenSSL 보안 대응팀(SRT)이 공개적으로 고칠 것을 요청하면서 수정 과정 전체가 커뮤니티에 노출된 사례다. 이 글은 해당 PR에서 오간 기술 토론을 바탕으로, 단순한 취약점 공지를 넘어 '취약점을 어떻게 고치는 것이 옳은가'라는 질문이 왜 쉽지 않았는지 짚어 본다.

문제의 본질

취약점의 원인은 인코딩 결과 길이가 int 범위를 넘어서는 경우를 걸러내지 못한 데 있다. EVP_EncodeBlock()은 입력 바이트 수에 비례해 더 큰 출력을 만들어내는데, 입력이 충분히 크면 계산된 출력 크기가 int로 표현할 수 없게 되고 그 과정에서 출력 버퍼를 넘어서는 쓰기가 발생한다. 패턴 자체는 과거 CVE-2021-23840과 유사하다. 흥미로운 점은 실제 공격 가능성이다. 제보자는 openssl s_client에 아주 큰 -proxy_pass 값을 넘기면 커맨드라인에서도 재현된다고 밝혔다. GOST 엔진이 별다른 설정 없이 긴 비밀번호를 받아들였고, 다만 커맨드라인 길이 제한 때문에 비밀번호는 env:VAR 형태의 환경 변수로 전달해야 했다. 반대로 이 재현 조건이 상당히 인위적이라는 지적도 있어, 실제 운영 환경에서 자연스럽게 트리거되는지에 대한 의문이 CVE 등급의 타당성 논쟁으로 이어졌다.

-1이냐, 0이냐, assert냐

가장 치열했던 논쟁은 '잘못된 입력을 만났을 때 함수가 무엇을 반환해야 하는가'였다. 초기 제안은 NULL 버퍼, 음수 길이, int를 넘는 길이에 대해 -1을 반환하는 방식이었다. wolfSSL의 OpenSSL 호환 계층이 택한 방식과도 일치한다는 근거가 제시됐다. 그러나 반대 의견이 만만치 않았다. 기존 서드파티 호출자들이 반환값을 검사 없이 size_t로 캐스팅하는 경우, 새로 생긴 음수 반환값이 오히려 더 큰 혼란을 부른다는 우려였다.

대안으로 0을 반환하자는 제안도 나왔지만 여기엔 근본적 모순이 있었다. EVP_EncodeBlock()은 dlen이 0일 때, EVP_DecodeBlock()은 입력이 비었을 때 정상적으로 0을 반환하기 때문이다. 즉 0은 이미 '성공'을 의미하는 값이라, 실패 신호로 재활용하면 성공처럼 보이는 실패가 만들어진다. OpenSSL의 STYLE.md 역시 성공처럼 보이는 특수 실패 케이스를 추가하지 말라고 규정하고 있어, 0 반환은 도달 불가능하고 테스트도 어려운 죽은 코드를 양산한다는 비판을 받았다.

기존 동작을 깨지 않는 선에서

결국 합의된 방향은 OPENSSL_assert()였다. 이전까지 정의되지 않은 동작(undefined behavior)을 유발하던 입력에 대해서만 assert로 차단하고, 이미 잘 정의돼 있던 동작은 그대로 보존한다는 원칙이다. 이렇게 하면 서드파티 호출자가 새로운 에러값을 처리하도록 강제하지 않아도 된다. 실제로 encode.c의 EVP_DecodeUpdate()가 이미 OPENSSL_assert를 쓰고 있어 선례도 있었다. 다만 모든 NULL 검사를 assert로 막지는 않았다. dlen이 0이면 조기 반환하도록 만들면서, 입력 포인터는 dlen이 0보다 클 때만 읽히게 되므로 NULL 입력은 어차피 첫 사용 시점에 그냥 크래시한다. 문서화된 선행 조건만으로 충분하다는 판단에 따라 일부 assert는 제거됐다.

수정 범위는 인코딩 함수에만 머물지 않았다. EVP_DecodeBlock()에도 NULL 버퍼와 음수 길이를 거부하는 가드가 추가됐는데, 디코딩은 출력 길이가 항상 int에 들어가므로 길이 상한 검사는 필요 없었다. 또한 http_client.c의 base64encode()가 len > INT_MAX만 걸러내던 부정확한 길이 검사도 함께 바로잡혔다. NULL인 src에 대해 src + 0 연산을 수행하던 AVX2 경로의 미정의 동작도 별도로 처리됐다. 테스트는 test/base64_dec_avx2_test.c에 추가되고 동작 변경은 EVP_EncodeInit.pod에 문서화됐다.

실무자에게 남는 것

이 사례는 두 가지 측면에서 읽을 가치가 있다. 첫째, Base64 같은 '단순해 보이는' 유틸리티 함수도 정수 오버플로와 결합하면 CVSS 9.8급 결함이 될 수 있다는 점이다. 자체 코드에서 OpenSSL 인코딩 API를 쓴다면 입력 길이가 신뢰할 수 없는 외부 값일 때 호출 전에 상한을 검증하는 편이 안전하다. 둘째, 공개 API의 반환값 규약을 바꾸는 일이 왜 보수적이어야 하는지 보여 준다. wolfSSL이 택한 방식이라는 이유만으로 정당화되지 않았고, 토론 끝에 '기존에 정의된 동작은 절대 깨지 않는다'는 원칙이 우선됐다. API 비관화(deprecation)나 더 나은 계약을 가진 EVP_EncodeBlock_ex() 신설, 내부 함수의 성공/실패 반환 전환 같은 더 큰 개선은 CVE 수정의 범위를 벗어난다고 보고 후속 이슈(#33812)로 분리됐다. 당장의 보안 결함을 막는 것과 API를 근본적으로 손보는 것을 구분한 이 판단은, 레거시 호환성을 짊어진 라이브러리 유지보수의 현실을 잘 드러낸다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://github.com/openssl/openssl/pull/33652
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...