오늘날 GPU는 텍스처 매핑과 블리팅을 하드웨어가 알아서 처리한다. 그러나 8비트 PC 시절의 그래픽 하드웨어는, 글쓴이의 표현을 빌리면 아무 일도 하지 않았다. 화면에 무언가를 그리려면 프로그래머가 메모리를 바이트 단위로 직접 옮겨야 했다. 이 글은 그런 제약 속에서 한 대학생 개발자가 아케이드 횡스크롤 게임을 1980년대 PC로 이식하면서 겪은 속도 문제와, 그 해법을 찾아가는 과정을 담고 있다. 하드웨어가 느리던 시절의 이야기지만, 자원의 물리적 한계를 끝까지 들여다보는 최적화의 사고방식은 지금도 유효하다.
문제는 배경을 다시 그리는 일이었다
횡스크롤 게임의 대부분 시간은 배경 타일을 매 프레임 다시 그리는 데 쓰인다. 여기서 타일은 28×28 픽셀이었고, 한 픽셀이 16색이라 반 바이트를 차지했다. 즉 한 행이 14바이트, 한 타일이 28행이다. 반면 화면 버퍼는 320×240으로 한 행이 160바이트였다. 타일을 화면에 복사하려면 14바이트짜리 행을 28번 옮기고, 행마다 목적지 포인터를 타일 폭과 화면 폭의 차이만큼 전진시켜야 했다.
6809 프로세서는 16비트 인덱스 레지스터와 포인터를 자동으로 증가시키는 주소 지정 방식을 갖추고 있어, 한 번에 4픽셀씩 옮기며 소스와 목적지 포인터를 함께 진행할 수 있었다. 소박하게 짠 행 복사 루프는 한 행에 157사이클이 들었다. 루프를 펼치면 120사이클로 30퍼센트가 빨라졌고, 비용이 큰 자동 증가(개당 3사이클)를 정확한 오프셋(개당 1사이클, 오프셋 0은 무료)으로 바꾸자 98사이클까지 내려갔다. 원본 대비 60퍼센트 개선이었고, 타일 하나를 2893사이클에 복사했다. 보통의 프로그래머라면 여기서 멈췄을 것이다.
스택 명령에서 발견한 돌파구
하지만 그 정도로는 플레이할 만한 속도가 아니었다. 6502 계열인 애플 II에서 자란 글쓴이는 6809만의 숨은 명령이 있을지 모른다고 생각해, 웹이 없던 시절 VT220 단말로 도서관 카드 목록을 뒤져 공대 도서관의 MC6809 프로그래밍 매뉴얼을 찾아낸다. 거기서 PSHS 명령을 만난다. 6502에서는 레지스터를 누산기를 거쳐 하나씩 스택에 저장해야 했지만, 6809는 여러 레지스터를 한 명령으로 밀어 넣을 수 있었고 비용은 5사이클에 밀어내는 바이트당 1사이클뿐이었다.
16비트 범용 레지스터 D·X·Y를 채운 뒤 한 번에 밀면 6바이트를 11사이클에 쓸 수 있었다. 게다가 6809에는 스택 레지스터가 S와 U 두 개라 하나를 소스, 하나를 목적지로 쓸 수 있었다. S는 타일을, U는 화면 버퍼를 가리키게 하고 PULS와 PSHU를 짝지으면 6바이트를 옮기는 구조다. 이렇게 짜면 행 조정까지 포함해 66사이클, 앞서의 98사이클을 다시 크게 앞질렀다.
마지막 2바이트가 문제였다. 행이 14바이트인데 6으로 나눠떨어지지 않아 어정쩡한 PULS/PSHU 한 쌍이 더 필요했다. 여기서 글쓴이는 DP 레지스터를 발견한다. 6502의 제로 페이지처럼 짧고 빠른 주소를 쓰게 해주는데, 6809는 DP로 임의의 페이지를 직접 페이지로 지정할 수 있었다. 어느 복사 명령도 직접 페이지를 쓰지 않았으므로, DP를 1바이트짜리 중간 저장소로 전용해 한 번에 7바이트를 옮길 수 있었다. 결과적으로 D·X·Y·U·S에 DP까지, 기계의 모든 레지스터가 바이트 운반에 동원되었다.
뒤집힘을 또 뒤집어 상쇄하다
그런데 스택에는 함정이 있다. 밀기와 꺼내기는 방향이 반대다. 그래서 이 코드는 한 행을 7바이트짜리 두 조각으로 나눠 좌우가 뒤바뀐 채 화면에 그렸다. 조각 내부의 바이트 순서는 유지됐지만 두 조각의 자리가 맞바뀐 것이다. 또 밀기는 스택 포인터를 낮은 주소로 옮기고 낮은 주소는 화면 위쪽에 해당하므로, 여러 행을 그리면 세로로도 상하가 뒤집혔다. 열쇠 모양 타일을 그리면 열쇠가 아닌 무언가가 나왔다.
해법의 핵심은 상하 뒤집힘과 좌우 뒤바뀜을 모두 같은 연산, 즉 반전으로 본 것이다. 반전은 두 번 적용하면 원래로 돌아오는 대합(involution) 성질을 지닌다. 그렇다면 타일을 미리 행 순서와 조각 순서를 뒤집어 저장해 두면, 복사 과정에서 생기는 뒤집힘과 사전 처리가 서로 상쇄되어 화면에는 멀쩡하게 나타난다. 연산 비용이 드는 복잡한 명령을 쓰는 대신 데이터를 먼저 정리해 두는 발상인데, 런타임 부담을 전처리로 떠넘기는 이 접근은 룩업 테이블이나 사전 계산된 자산을 쓰는 오늘날의 기법과도 통한다.
실무자가 이 이야기에서 가져갈 것은 특정 명령어 지식이 아니라 태도다. 뻔한 최적화가 바닥난 지점에서 멈추지 않고 하드웨어 매뉴얼의 세부까지 파고든 끈기, 그리고 제약을 없애려 애쓰는 대신 제약이 만들어내는 왜곡을 역이용한 발상의 전환이다. 다만 글쓴이 스스로 오래전 기억이라 세부가 틀릴 수 있다고 밝혔고 사이클 수치도 근사치인 만큼, 수치 자체보다 문제를 다루는 방식에 초점을 맞춰 읽는 편이 낫다.