화면에 무언가를 그린다는 것은 결국 모든 픽셀의 색을 결정하는 작업, 즉 래스터화(rasterization)로 귀결된다. 스키아(Skia), 코어그래픽스(CoreGraphics), 다이렉트2D(Direct2D) 같은 래스터화 라이브러리는 그리기와 블렌딩, 렌더링을 효율적으로 처리하기 위해 오랜 기간 막대한 공을 들여 왔다. 그런데도 실제 애플리케이션의 성능이 발목을 잡히는 지점은 라이브러리 내부가 아니라, 애플리케이션이 라이브러리에게 시키는 '명령의 순서' 자체가 비효율적이라는 데 있다. 최근 arXiv에 공개된 논문 'Compiler-style optimization for drawing via Skia'는 바로 이 간극을 다룬다.
논문이 제시하는 사례는 시사적이다. 구글 크롬은 스키아와 함께 개발되며 고도로 최적화된 프로그램이지만, 가장 많이 방문되는 상위 100개 웹사이트를 그릴 때조차 비효율적인 명령 시퀀스를 만들어 낸다. 즉 라이브러리와 애플리케이션을 같은 팀이 함께 다듬어도 최적의 호출 패턴이 저절로 나오지는 않는다는 뜻이다. 연구진은 그 근본 원인을 래스터화 라이브러리의 의미론이 복잡하고, 실행 모델이 불투명하며 직관적이지 않다는 데서 찾는다. 개발자가 캔버스 상태나 레이어 스택이 내부적으로 어떻게 흘러가는지 정확히 예측하기 어렵기 때문에, 안전하지만 낭비가 많은 호출을 남기게 된다는 것이다.
형식 의미론으로 그리기를 정의하다
연구진의 해법은 스키아 2D 그래픽 라이브러리의 동작을 형식 의미론(formal semantics)으로 엄밀하게 정의한 μSkia다. 이 의미론은 증명 보조 도구인 린(Lean)으로 기계화되어, 사람이 손으로 따지는 대신 기계가 검증할 수 있는 형태로 표현된다. μSkia는 캔버스 상태, 레이어 스택, 블렌딩, 컬러 필터 같은 언어·그래픽 기능을 포괄하며, 의미론 자체를 세 개의 층위(strata)로 나눈다. 관심사를 분리하고 확장성을 확보하기 위한 설계로, 새로운 기능을 얹거나 특정 계층만 따로 다루기 쉽게 만든 구조다.
이 토대 위에서 연구진은 크롬이 실제로 만들어 내는 비효율적 스키아 코드의 네 가지 패턴을 식별하고, 각 패턴을 대체할 코드를 작성했다. 핵심은 이 대체 코드가 원래 코드와 '같은 그림'을 그린다는 사실을 μSkia로 검증했다는 점이다. 그 과정에서 겉보기에는 동등해 보이지만 특정 조건에서만 성립하는 까다로운 부수 조건(side condition)들이 다수 드러났다. 눈으로만 봐서는 놓치기 쉬운 이런 조건들이야말로, 형식 검증 없이 손으로 최적화를 시도할 때 미묘한 렌더링 오류를 부르는 지점이다.
18.7% 속도 향상과 종단 간 검증
연구진은 이 패턴들을 자동으로 적용하는 고성능 스키아 최적화기를 만들었다. 상위 100개 웹사이트에서 수집한 99개의 스키아 프로그램을 대상으로 측정한 결과, 스키아의 가장 최신 GPU 백엔드 대비 18.7%의 속도 향상을 얻었다. 최적화 자체에 드는 시간은 프로그램당 최대 32마이크로초에 불과해, 렌더링 경로에 끼워 넣어도 실질적인 부담이 되지 않는 수준이다. 더 중요한 것은 이 개선이 특정 환경에 국한되지 않고 다양한 웹사이트, 여러 스키아 백엔드, 서로 다른 GPU에 걸쳐 유지됐다는 점이다.
검증의 완결성도 이 연구의 특징이다. 최적화기가 실제로 수행한 변환 기록(트레이스)을 다시 μSkia 의미론에 불러들여 린에서 번역 검증(translation validation)을 수행했다. 최적화 규칙이 이론적으로 옳다는 데서 그치지 않고, 실제로 적용된 각 변환이 원본과 동등함을 종단 간(end-to-end)으로 확인한 셈이다. 컴파일러 세계에서 축적된 검증 최적화 기법을 그래픽 렌더링이라는 낯선 영역에 옮겨 온 시도로 읽힌다.
실무자에게 주는 의미와 한계
프런트엔드나 그래픽 성능을 다루는 실무자에게 이 연구가 던지는 메시지는 분명하다. 렌더링 병목이 항상 라이브러리 내부에 있는 것은 아니며, 애플리케이션이 발행하는 명령의 배열 방식에도 무시하기 어려운 여지가 남아 있다는 것이다. 특히 캔버스 상태 저장·복원이나 레이어, 블렌딩 조합을 습관적으로 쌓아 올리는 코드는 개선 후보가 될 수 있다. 다만 그런 정리를 사람이 직감으로 하면 부수 조건을 놓쳐 화면이 미묘하게 달라질 위험이 크다는 점도 이 논문이 함께 보여 준다.
동시에 한계도 분명히 짚어 둘 필요가 있다. 이 성과는 스키아라는 특정 라이브러리, 그리고 웹사이트 렌더링이라는 특정 워크로드를 대상으로 한 것이며, 다뤄진 최적화는 크롬에서 관찰된 네 가지 패턴에 한정된다. 18.7%라는 수치도 상위 100개 사이트에서 수집한 99개 프로그램에 대한 결과인 만큼, 게임이나 복잡한 애니메이션처럼 성격이 다른 워크로드에 그대로 일반화하기는 이르다. 그럼에도 그래픽 API 호출을 검증 가능한 방식으로 최적화한다는 방향성 자체는, 앞으로 다른 렌더링 스택에도 확장을 시도해 볼 만한 접근으로 평가할 수 있다.