TECH 으로 돌아가기
TECH HACKER NEWS 6분 읽기 29 READS

OpenJDK Base64 디코더 인트린식의 힙 손상 버그, 무엇이 문제였나

OpenJDK Base64 디코더 인트린식의 힙 손상 버그, 무엇이 문제였나
SOURCE IMAGE · HACKER NEWS

자바의 java.util.Base64 디코더는 평범해 보이지만, 성능이 중요한 경로에서는 JVM이 자바 바이트코드를 그대로 실행하지 않는다. 핫스팟(HotSpot)은 Base64 디코딩처럼 반복적이고 데이터 집약적인 연산을 손으로 최적화한 기계어 스텁(stub)으로 대체한다. 이번에 OpenJDK PR #32781로 보고된 문제는 바로 이 최적화 스텁, 그중에서도 x86_64 AVX-512 VBMI 경로에 있던 경계 조건 결함이다. 보고자는 이를 'java4shell'이라고 불렀지만, 명칭이 주는 인상과 달리 원격 코드 실행이 입증된 사안은 아니며 특정 조건에서 힙 메모리가 손상될 수 있다는 메모리 안전성 버그에 가깝다.

문제의 지점

결함은 StubGenerator::generate_base64_decodeBlock() 안의 L_finalBit 처리 구간에 있다. 이 구간은 메인 루프인 L_process64Loop가 64바이트 단위로 데이터를 처리하고 남은 1~63바이트의 꼬리를 마스크 기반 벡터 명령으로 마무리한다. 여기서 출력 크기를 output_size = (len/4)*3 공식으로 계산하는데, 이는 Base64의 구조적 전제에 기대고 있다. 정상적인 Base64 문자열은 4의 배수 길이를 가지며, 4문자가 3바이트로 복원되기 때문에 이 공식은 유효 입력에서는 항상 맞아떨어진다.

문제는 전제가 깨지는 경우다. 입력이 4로 나누어떨어지지 않고, 특히 남은 길이가 4 미만일 때다. 예컨대 "A".repeat(64)+"=" 같은 입력은 64바이트가 메인 루프에서 소비된 뒤 1바이트만 남는다. 이때 len/4는 0이 되어 output_size가 0에서 출발하는데, 패딩(=) 처리 경로가 이 값을 다시 감소시키면서 0 아래로 내려간다. 그 결과 어떤 바이트를 메모리에 써야 하는지를 결정하는 output_mask가 잘못 계산되고, 스텁은 논리적으로 허용된 출력 길이를 넘어선 위치에 값을 기록한 채 자바 코드로 복귀한다. 바로 이 초과 기록이 힙을 손상시킨다.

왜 평소에는 드러나지 않았나

이 버그가 오랫동안 눈에 띄지 않은 이유는 트리거 조건 자체가 '잘못된 입력'이기 때문이다. 정상 Base64 데이터는 절대로 길이가 4의 배수가 아닌 상태로 이 구간에 도달하지 않는다. 즉 합법적인 사용 흐름에서는 문제의 계산식이 틀릴 일이 없고, 오직 규격을 벗어난 입력이 디코더에 그대로 전달될 때만 결함이 발현된다. 제안된 수정안도 이 성격을 그대로 반영한다. 길이가 4 미만이면 복잡한 벡터 처리로 들어가기 전에 곧바로 자바로 조기 복귀(early-return)시켜, 전제가 성립하지 않는 입력을 네이티브 스텁이 아예 건드리지 않게 하는 방식이다.

실무적으로 중요한 지점은 입력 신뢰 경계다. 애플리케이션이 외부에서 받은 문자열을 검증 없이 Base64 디코더에 넘기는 구조라면, 공격자가 의도적으로 비정상 길이의 문자열을 주입해 디코더 내부의 경계 처리를 흔들 수 있다는 뜻이 된다. 다만 이 결함이 실제로 임의 메모리 쓰기나 코드 실행으로 이어지는지는 원문에서 입증되지 않았고, 영향 범위는 AVX-512 VBMI 명령을 지원하는 특정 x86_64 CPU에서 해당 인트린식이 활성화된 경우로 한정된다. 다른 아키텍처나 인트린식이 비활성화된 환경에서는 같은 경로를 타지 않는다.

이 사례가 주는 함의

이 버그는 JIT 인트린식 최적화가 가진 구조적 긴장을 잘 보여준다. 손으로 작성한 벡터 스텁은 자바 레벨의 메모리 안전성 보장 바깥에서 동작한다. 자바 세계에서는 배열 경계 검사가 모든 쓰기를 지켜주지만, 성능을 위해 그 경계를 생략한 네이티브 코드로 내려가는 순간 안전망은 개발자가 명시적으로 넣은 계산식의 정확성에만 의존하게 된다. output_size가 음수로 내려갈 수 있다는 단 하나의 가정 누락이 자바 힙 손상으로 직결된 것이 그 증거다.

정작 이 PR의 처리 과정은 매끄럽지 않았다. hotspot-compiler 라벨에 따라 리뷰어 두 명이 요구되는 변경이었지만, 8주 이상 활동이 없어 자동 비활성 경고가 붙었고 이후 닫힌 상태가 되었다. 다른 참여자가 왜 닫혔는지 물어본 흔적도 남아 있다. 명확한 재현 조건과 간결한 수정안이 제시된 버그조차 리뷰 자원과 유지보수 우선순위 앞에서 쉽게 표류할 수 있다는 점은, 오픈소스 런타임을 운영 환경에 올려 쓰는 조직이 보안 관련 패치의 머지 여부를 스스로 추적해야 하는 이유를 상기시킨다. 당장의 조치로는 외부 입력을 디코더에 넘기기 전에 길이와 패딩 형식을 애플리케이션 레벨에서 검증하는 것이, 런타임 패치 적용 여부와 무관하게 방어선을 한 겹 더 두는 현실적인 방법이다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://github.com/openjdk/jdk/pull/32781
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...