Antithesis가 만든 Bombadil: 웹 UI를 위한 속성 기반 테스팅의 새로운 접근

테스트를 작성할 때 가장 어려운 부분은 뭘까요? 아마 "어떤 시나리오를 테스트해야 하는지"를 정하는 것일 겁니다. 단위 테스트든 E2E 테스트든, 결국 개발자가 머릿속으로 시나리오를 떠올리고 하나하나 수작업으로 작성해야 합니다. 그런데 우리가 미처 생각하지 못한 엣지 케이스에서 버그가 터지는 경우가 대부분이죠.

Antithesis라는 회사가 이 문제에 대한 흥미로운 해답을 내놓았습니다. Bombadil이라는 오픈소스 도구인데, 핵심 아이디어는 "속성 기반 테스팅(Property-Based Testing)"을 웹 UI에 적용하는 것입니다. 속성 기반 테스팅이란, 개별 시나리오를 하나씩 명시하는 대신 "이 시스템이 항상 만족해야 하는 조건(속성)"을 정의하고, 도구가 자동으로 무수히 많은 입력을 생성해서 그 조건을 깨뜨리는 케이스를 찾아내는 방식입니다.

Bombadil은 실제 브라우저 위에서 동작하며, 웹 애플리케이션에 랜덤한 사용자 인터랙션을 쏟아부은 뒤 정의된 속성이 위반되는지를 검증합니다. Playwright 기반으로 구축되어 있어 기존 테스트 인프라와의 통합도 비교적 자연스럽습니다. 단순한 퍼징(fuzzing)과는 다르게, 개발자가 의미 있는 속성을 선언적으로 정의할 수 있다는 점에서 차별화됩니다.

속성 기반 테스팅이 웹 UI에서 어떻게 동작하는가

속성 기반 테스팅(PBT)은 Haskell의 QuickCheck에서 시작된 개념으로, 함수형 프로그래밍 진영에서는 이미 널리 쓰이고 있습니다. 예를 들어 "정렬 함수의 출력은 항상 오름차순이어야 한다"는 속성을 정의하면, 테스트 프레임워크가 수천 개의 랜덤 입력을 생성해서 이 속성이 깨지는 입력을 찾아냅니다. 깨지는 입력을 발견하면 자동으로 "shrinking"이라는 과정을 통해 문제를 재현하는 최소한의 입력으로 줄여줍니다.

이 아이디어를 웹 UI에 적용하려면 몇 가지 난관이 있습니다. 첫째, 웹 UI의 상태 공간은 순수 함수와 비교할 수 없을 정도로 넓습니다. 클릭, 스크롤, 입력, 네비게이션 등 사용자가 할 수 있는 행동의 조합이 사실상 무한합니다. 둘째, UI의 "올바른 동작"을 수학적 속성으로 표현하기가 쉽지 않습니다.

Bombadil은 이를 해결하기 위해 몇 가지 전략을 씁니다. 웹 페이지의 DOM 구조를 분석해서 상호작용 가능한 요소를 자동으로 식별하고, 이 요소들에 대해 의미 있는 액션 시퀀스를 생성합니다. 개발자는 "어떤 페이지에서든 JavaScript 에러가 발생하면 안 된다", "폼 제출 후에는 반드시 확인 메시지가 표시되어야 한다" 같은 불변 조건(invariant)을 선언합니다. Playwright 위에서 동작하기 때문에 실제 브라우저 환경에서 렌더링과 네트워크 요청까지 포함한 현실적인 테스트가 가능합니다.

기존의 E2E 테스트가 "사용자가 A를 클릭하고 B를 입력하면 C가 나타나야 한다"는 구체적 시나리오를 검증한다면, Bombadil은 "사용자가 무엇을 하든 시스템은 이 조건을 만족해야 한다"는 상위 수준의 보장을 검증합니다. 이 차이는 테스트 커버리지의 폭에서 큰 차이를 만들어냅니다.

Antithesis와 속성 기반 테스팅 도구의 지형

Antithesis는 "결정론적 시뮬레이션 테스팅" 플랫폼으로 알려진 회사입니다. 소프트웨어 시스템 전체를 결정론적 가상 환경에서 실행하면서 모든 비결정성(네트워크 지연, 스레드 스케줄링 등)을 제어해 버그를 재현 가능하게 만드는 기술을 보유하고 있습니다. 이전에는 주로 분산 시스템이나 데이터베이스 같은 백엔드 인프라 테스팅에 집중했는데, Bombadil을 통해 프론트엔드 영역으로 범위를 확장한 셈입니다.

속성 기반 테스팅 자체는 새로운 개념이 아닙니다. Python의 Hypothesis, JavaScript의 fast-check, Rust의 proptest 등 각 언어 생태계마다 PBT 라이브러리가 존재합니다. 하지만 이들은 대부분 순수 함수나 데이터 변환 로직을 대상으로 합니다. UI라는 본질적으로 상태가 많고 비결정적인 영역에 PBT를 적용한 실용적 도구는 드물었습니다.

비슷한 접근으로는 Meta의 Sapienz(모바일 앱 자동 테스팅), Google의 AI 기반 웹 크롤링 테스트 등이 있지만, 이들은 대부분 내부 도구이거나 특정 플랫폼에 종속되어 있습니다. Bombadil이 오픈소스로 공개된 점은 커뮤니티 차원에서 의미가 있습니다.

다만 현실적인 한계도 있습니다. 속성을 잘 정의하는 것 자체가 전문성을 요구하고, UI의 "올바름"을 속성으로 표현하기 어려운 경우가 많습니다. 또한 랜덤 테스팅 특성상 실행 시간이 길어질 수 있어 CI 파이프라인에 통합할 때 전략적인 접근이 필요합니다. 그래도 기존 E2E 테스트로는 잡기 힘든 "예상하지 못한 사용자 행동에 의한 버그"를 발견하는 보완적 도구로서의 가치는 분명해 보입니다.