TECH 으로 돌아가기
TECH HACKER NEWS 8분 읽기 40 READS

Java4Shell: OpenJDK Base64 디코더의 메모리 손상 취약점이 던지는 질문

Java4Shell: OpenJDK Base64 디코더의 메모리 손상 취약점이 던지는 질문
SOURCE IMAGE · HACKER NEWS

메모리 안전성은 오랫동안 Java를 선택하는 가장 큰 이유 중 하나였다. 개발자 대신 런타임이 메모리를 관리하고 접근을 검사하기 때문에, C나 C++에서 흔한 메모리 손상 버그로부터 애플리케이션을 보호해 준다고 여겨졌다. 그러나 보안 연구 조직 Calif가 공개한 Java4Shell(CVE-2026-114938)은 그 전제에 금을 낸다. 가장 널리 쓰이는 Java 런타임인 OpenJDK의 Base64 디코더에서 발견된 이 메모리 손상 취약점은 CVSS 4.0 기준 9.2점(CRITICAL)으로 평가됐다.

Base64는 바이너리 데이터를 텍스트로 표현하는 아주 흔한 방식으로, 인증 프로토콜, 파일 업로드 인코딩, 네트워크 메시지 전달 등 일상적인 기능 곳곳에 쓰인다. 문제는 OpenJDK가 이 디코딩을 빠르게 처리하려고 일부 x86-64 프로세서에서 AVX-512 VBMI 명령어를 활용하는 손수 작성된 어셈블리 경로를 둔 데 있다. 결국 메모리 안전한 언어라도 그 구현체 상당 부분은 C, C++, 어셈블리 같은 저수준 언어로 쓰여 있고, 그 층에서는 여전히 메모리 손상이 현실이라는 점을 이 사건은 드러낸다.

64글자와 등호 하나가 만든 틈

버그의 핵심은 마지막 몇 글자를 처리하는 로직에 있다. 입력이 64바이트보다 짧으면 디코더는 VMOVDQU8 명령(evmovdqub)을 쓰는데, 이 명령은 64비트 마스크로 어떤 바이트를 메모리에 읽고 쓸지 결정한다. 그런데 남은 입력이 '=', '==', 'X=' 같은 특정 패딩 형태일 때 출력 길이가 0으로 계산된 뒤 패딩만큼 감산되면서 -1이나 -2로 언더플로된다. 이 음수 길이에 대해 bzhiq 연산은 비트를 전혀 바꾸지 못해 출력 마스크가 전체 1(-1)이 되고, 결과적으로 64바이트 전부가 메모리에 기록된다.

구체적으로 'A' 64개 뒤에 '=' 하나를 붙인 65바이트 입력을 넣으면, 런타임은 50바이트 버퍼를 할당한다. 앞의 64글자를 디코딩한 뒤 어긋난 '='를 잘못 처리해 음수 출력 길이를 계산하고, 그것이 꽉 찬 64바이트 쓰기로 바뀌면서 배열 끝을 62바이트가량 넘어선다. Java는 결국 잘못된 입력을 거부하고 IllegalArgumentException을 던지지만, 그 시점이면 이미 이웃한 객체가 손상돼 있을 수 있다. 참고로 코드 경로에 도달하는 길이 임계값이 더 높은 구형 OpenJDK 17에서는 트리거 입력이 'A' 128개 뒤에 '='가 된다.

왜 '깊은 곳'의 버그인가

이 쓰기는 고정된 바이트 값만 덮어쓰고, 통제 가능한 것은 쓰기가 착지하는 위치뿐이라 처음에는 익스플로잇이 어렵거나 사실상 불가능해 보였다. Calif는 자바스크립트 엔진 공격에서 쓰이던 고전 기법, 즉 버퍼 길이를 덮어쓰는 방식을 재활용해 돌파했다. 길이가 손상된 버퍼(writer)는 선택한 바이트를 계속 받아들이므로, 그 뒤에 다른 배열이나 객체를 배치하면 고정 쓰기를 원하는 값의 선형 쓰기로 바꿀 수 있다. 또 다른 배열의 길이를 손상시켜 그 데이터가 응답으로 되돌아오게 하면 힙 노출 수단(reader)이 완성된다. 코드 실행 이전 단계에서 이미 Java 힙의 내용을 유출하는 'JavaBleed'가 성립하는데, 그 안에는 개인정보, 개인키, 토큰 같은 민감 정보가 담겨 있을 수 있다. 여기서 더 나아가 손상된 객체를 복구해 JVM을 계속 돌리고, 제한된 쓰기를 Code Cache와 JVM 훅에 닿는 임의 쓰기로 격상해 원격 코드 실행까지 이어진다.

이 과정은 HotSpot의 메모리 레이아웃을 이해해야 가능하다. G1 가비지 컬렉터는 힙을 고정 크기 리전으로 나누고, 각 스레드에는 Eden의 사적 구획인 TLAB가 주어진다. 서로 다른 요청 스레드가 만든 객체는 다른 커서를 전진시키므로, 공격에 쓸 배열들을 각자의 TLAB 밖으로 끌어내 원하는 순서로 정렬하는 이른바 힙 펑슈이 작업이 선행돼야 한다.

실무적 의미와 한계

실무자 입장에서 더 무거운 지점은 노출 경로다. Calif는 기본 설정 상태의 여러 Java 애플리케이션과 Apache Struts, Spring Boot 기반 샘플 앱에서 RCE를 시연했다. 인증과 파일 업로드처럼 평범한 기능이 취약한 Base64 디코더를 호출할 수 있어, 특정 제품 목록을 넘어서는 범위로 영향이 번질 수 있다. 또한 samczsun이 공유한 클라이언트 측 익스플로잇은, 자체적으로 어떤 서비스도 노출하지 않더라도 악성 서버로 TLS 연결을 여는 Java 프로그램이 감염될 수 있음을 보였다. 다만 Calif 스스로 밝혔듯 보편적인 단일 익스플로잇은 없으며, Base64가 어떻게 쓰이고 애플리케이션이 어떻게 동작하는지에 따라 필요한 단계가 달라진다. 따라서 공개된 트리거 문자열만으로 즉시 범용 공격이 성립한다고 단정하기는 어렵다.

발견 과정도 눈여겨볼 만하다. Calif는 AI 에이전트(Codex)에 JIT 컴파일러, 인트린직, 널리 접근 가능한 API, 암호화 영역을 집중 감사하도록 지시했고, 초기 결과물 상당수는 도달 불가능하거나 비현실적인 '허위 양성'이었다고 한다. 그럼에도 연구자 Quang Luong 기준 취약점 발견에 한 시간, 첫 동작 익스플로잇 개발에 두 시간, 총 토큰 비용 200달러 미만이 들었다는 설명이다. Calif는 이를 사람의 맥락과 AI의 연산력이 결합한 '켄타우로스 해커'라 부른다.

'무엇을 지울까'라는 질문

Java4Shell이 던지는 더 근본적인 물음은 기능의 누적에 관한 것이다. Base64 최적화는 막대한 데이터를 디코딩하는 애플리케이션에는 유용하지만, 그 코드는 거의 이득을 보지 못하는 애플리케이션에도 똑같이 배포된다. 소수만 필요로 한 최적화가 나머지 모두에게 위험으로 남은 셈이다. Calif는 1997년부터 Squid 프록시의 FTP 모듈에 숨어 있던 Squidbleed 사례를 들며, 쓰지 않는 기능과 죽은 코드를 AI로 식별해 제거하는 'vibe-uncoding'을 제안한다. 코드 제거는 숨은 의존성 때문에 생각보다 어렵지만, 실제로 필요한 부분만 남겨 공격 표면을 줄이자는 방향이다. 수백 바이트를 처리하려고 손수 작성한 어셈블리 Base64 디코더가 정말 필요한지 되묻는 이 접근은, 모두가 '무엇을 만들까'를 묻는 시대에 보안의 질문은 오히려 '무엇을 지울까'여야 한다는 제안으로 요약된다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://calif.io/java4shell/
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...