사람이 기계어를 손으로 짜는 일은 거의 없다. 우리는 소스 코드를 쓰고 컴파일러와 링커가 그것을 바이트로 바꾸며, 반대로 돌아갈 때는 디스어셈블러와 디컴파일러에 의존한다. 그럴 만한 이유가 있다. x86-64 명령어는 길이가 제각각이고, 점프는 상대적인 바이트 거리로 표현되며, 헤더 필드 하나만 틀려도 파일은 로드되지 않는다. 그렇다면 이런 도구를 전혀 쓰지 않고 바이트만 주어졌을 때 대형 언어모델(LLM)은 무엇을 할 수 있을까. 한 블로그 글은 이 질문을 '머신 코드 프로그래밍(Machine Code Programming)'이라 이름 붙이고, 컴파일러·어셈블러·디스어셈블러는 물론 실행조차 없이 LLM이 실행파일의 바이트를 직접 추론하는 능력을 세 가지 실험과 실제 악성코드 사례로 검증했다. 이 연구는 LLM이 신경망 가중치를 직접 읽고 쓸 수 있음을 보인 Takehi 등의 '가중치 공간 프로그래밍' 작업에서 틀을 빌려 왔다.
바이트만 보고 기능을 알아내고 버그까지 찾다
첫 실험은 '이 바이너리가 무엇을 하는가'를 바이트만으로 알아내는 것이었다. 연구진이 직접 작성한 세 개의 프로그램과 FreeBSD의 실제 도구인 ministat의 헥스 덤프를 입력했고, 모델은 네 개 모두의 정체를 맞혔다. 가장 까다로운 ministat은 -O3로 빌드해 musl에 정적 링크하고, 심볼을 제거(strip)한 뒤 자체 텍스트를 지우고 마지막 세 개의 문자열은 각 바이트의 최상위 비트를 세워 감춰 둔 상태였다. 그럼에도 모델은 문자열을 복원하는 디코딩 루프를 찾아내 옵션 목록을 되살리고 여덟 개 옵션을 모두 설명했다. 더 놀라운 것은 소스 접근 없이 실제 버그를 발견했다는 점이다. t-테이블을 64비트 부동소수점으로 읽어낸 모델은 '99.5% 신뢰도'로 표기된 옵션이 실제로는 약 99.8%에 해당하는 임계값을 쓰고 있음을 알아챘다. 즉 -c 99.5는 광고된 것보다 더 엄격한 검정을 적용하고 있었고, 이 버그는 원본 소스에서도 확인됐다.
두 번째 실험은 기능 추가였다. 모델은 교체 대상과 같은 길이의 바이트 편집 목록으로 새 기능을 구현해야 했고, 숨겨진 테스트가 기존 동작 유지·신규 기능 작동·긴 입력 처리를 검증했다. 세 프로그램 모두 전 테스트를 통과했다. 접근법은 숙련된 분석가가 바이너리를 패치하는 방식과 같았다. 패딩 영역을 찾아 세그먼트 헤더를 고쳐 그곳을 실행 가능하게 만들고, 거기에 새 코드를 쓴 뒤 기존 명령어를 그 코드로의 호출로 덮어썼다. 세 번째 실험에서는 아예 바이너리 없이 동작 명세만 주고 헤더를 포함한 모든 바이트를 직접 출력해 완전한 ELF64 실행파일을 작성하도록 했다. 세 파일 모두 실행됐고 모든 사례에서 참조 구현과 일치했다. 어셈블러 없이 모든 점프·호출·헤더 필드를 스스로 계산한 것이다. 흥미롭게도 기존 프로그램을 확장하는 데 드는 출력 토큰은 처음부터 작성할 때보다 1.8~3.7배 적었다.
악성코드 분석에서 드러난 실무적 함의
네 번째는 실제 악성코드였다. 겉으로 드러난 임포트는 Sleep뿐이고 나머지 API 호출은 이름 해시 뒤에 숨겨졌으며 문자열은 스택에서 조립되는 4,608바이트 PE32+ 파일을, 악성이라는 힌트 없이 1번 실험과 같은 프롬프트로 넘겼다. 모델은 211초 만에 이 파일이 기계어를 내려받아 메모리에서 실행한다고 결론 내렸고, 하드코딩된 서버 주소 165.154.205.34와 포트 443을 보고서에 적시했다. SHA-256으로 동일 검체임을 맞춘 뒤 공개된 VMRay 동적 분석과 비교하자, 샌드박스는 같은 주소에 접속하고 같은 URL을 요청했다. 다만 이 대조는 실행 이후에 이뤄졌고 검체 하나·실행 한 번에 그친다. 샌드박스는 주소·요청·다운로드는 확인해 줬지만 10초 재시도나 XOR 키 자체는 확인하지 못했고, 우회전-13 해싱은 공개 도구에서도 흔해 모델이 패턴을 알아본 영향도 있었을 것이다. 연구진은 모델에게 악성코드를 수정하거나 작성하도록 요청하지 않았다.
실무적으로 이 결과가 가리키는 지점은 분명하다. 악성코드 분석가는 보통 샘플을 어셈블리나 C 코드로 되돌리는 데 상당한 시간을 쓴다. 바이트 공간에서 직접 작동하는 모델은 그 리프팅 단계를 건너뛰고, 분류의 가장 느리고 도구 의존적인 구간을 줄일 수 있다. 범용 모델이 전용 특화 없이도 이를 해냈다는 점은 탐지와 분석 양쪽의 효율을 높일 여지가 된다. 디스어셈블러와 디컴파일러는 바이트를 사람이 읽을 수 있게 바꾸려고 존재하는데, 모델에게는 그 단계가 선택적일 수 있다는 것이다. 물론 이 도구들은 여전히 사람 분석가에게 필수다.
아직은 작은 프로그램에 머문 초기 결과
한계는 뚜렷하다. 가장 큰 제약은 컨텍스트 크기다. 헥스 덤프는 바이트당 약 2.4토큰이 들어, 67KB 바이너리가 약 16만3천 토큰을 차지했다. 같은 비율이면 10MB 프로그램은 약 2,400만 토큰이 필요해 이 일회성 접근으로는 큰 프로그램을 읽을 수 없다. 더구나 최대 시험 대상이 67KB였던 만큼, 그 한계에 이르는 과정에서 품질이 어떻게 유지될지는 아직 알 수 없다. 돌파구로는 긴 프롬프트를 REPL 변수로 모델 바깥에 두고 조각씩 들여다보며 자기 자신을 호출하는 재귀적 언어모델(RLM) 방식이 제시됐다. 바이너리라면 헤더를 먼저 읽고 오프셋을 따라 호출과 점프를 추적하며 각 함수를 하위 호출에 넘기는 식이다.
이 능력이 폐쇄형 최전선 모델에만 국한되지 않는다는 예비 증거도 있다. 연구진은 네 번째 실험을 다른 하버스(opencode)와 MIT 라이선스로 가중치가 공개된 DeepSeek V4.1 Flash로 반복했고, 같은 검체·같은 요청에 대해 도구 호출 없이 한 번의 응답으로 같은 결론에 도달했다. 다만 약 17배 많은 추론 토큰을 소모했고, 숨겨진 13개 함수 이름 중 9개를 맞혔으나 두 건의 작명 오류가 마커 파일 검사 해석을 어긋나게 만들었다. 요컨대 이것은 작은 프로그램에 대한 초기 결과이며, 그 전사(轉寫) 기록에는 틀린 추측과 수정이 그대로 담겨 있다. 그럼에도 바이트를 '읽을 수 없는 출력물'로 여겨 온 오랜 전제가 범용 모델 앞에서 흔들리기 시작했다는 신호만큼은 분명하다.