Claude에게 모바일 앱 QA를 가르치다 — AI 기반 E2E 테스트 자동화의 현주소

모바일 QA, 여전히 고통스러운 영역

모바일 앱 개발을 해본 사람이라면 QA가 얼마나 손이 많이 가는 작업인지 잘 알고 있을 것입니다. 웹 애플리케이션은 Selenium이나 Playwright 같은 도구로 비교적 안정적인 E2E 테스트 파이프라인을 구축할 수 있지만, 모바일은 사정이 다릅니다. iOS와 Android 두 플랫폼을 동시에 커버해야 하고, 디바이스 파편화 문제가 있으며, 네이티브 UI 요소의 접근성 트리(Accessibility Tree)가 웹의 DOM처럼 깔끔하지 않아 테스트 자동화 도구가 UI 요소를 안정적으로 찾아내기 어렵습니다. 그래서 많은 스타트업과 소규모 팀이 여전히 수동 QA에 의존하거나, 불안정한 자동화 스크립트를 유지보수하는 데 상당한 시간을 쏟고 있습니다.

최근 Christopher Meiklejohn이 공개한 사례는 이 문제에 대해 완전히 다른 접근 방식을 제시합니다. LLM, 구체적으로 Anthropic의 Claude를 활용해 모바일 앱의 QA 과정을 자동화하는 방법을 실험하고 그 결과를 상세히 공유한 것입니다.

어떻게 동작하는가 — 스크린샷 기반의 시각적 QA

이 접근의 핵심 아이디어는 생각보다 직관적입니다. 기존의 모바일 테스트 자동화가 XCUITest(iOS)나 Espresso(Android) 같은 프레임워크를 통해 UI 요소의 ID나 접근성 레이블을 프로그래밍적으로 찾아 조작하는 방식이었다면, 이 방법은 앱의 스크린샷을 Claude에게 보여주고 무엇이 보이는지, 의도한 대로 동작하는지를 판단하게 하는 것입니다.

구체적인 워크플로우는 다음과 같습니다. 먼저 시뮬레이터나 실제 디바이스에서 앱을 실행하고, 특정 시나리오를 수행합니다. 각 단계에서 스크린샷을 캡처하여 Claude의 비전(Vision) 기능을 통해 전달합니다. Claude는 스크린샷을 분석하여 "로그인 버튼이 화면 중앙 하단에 있고 활성화되어 있다", "에러 메시지가 빨간색으로 표시되고 있다" 같은 시각적 판단을 내립니다. 이 판단을 미리 정의한 기대 결과와 비교하여 테스트 통과/실패를 결정하는 구조입니다.

이것이 흥미로운 이유는, 기존 자동화 테스트의 가장 큰 약점이었던 "UI가 조금만 바뀌어도 테스트가 깨진다"는 취약성(flakiness) 문제를 우회할 수 있기 때문입니다. 버튼의 ID가 바뀌거나 레이아웃이 살짝 조정되어도, 사람이 보기에 같은 화면이면 Claude도 같은 화면으로 인식합니다. 마치 실제 QA 엔지니어가 화면을 눈으로 보고 판단하는 것과 유사한 방식인 셈입니다.

프롬프트 엔지니어링이 곧 테스트 설계

이 방식에서 가장 중요한 기술적 요소는 프롬프트 설계입니다. Christopher는 Claude에게 단순히 "이 화면이 맞아?"라고 묻는 것이 아니라, 매우 구체적인 검증 기준을 프롬프트로 전달합니다. 예를 들어, "이 화면에서 사용자 프로필 사진이 상단에 표시되어야 하고, 그 아래에 이름과 이메일이 있어야 하며, 편집 버튼이 보여야 한다"와 같은 방식입니다.

이는 전통적인 테스트 코드 작성과는 상당히 다른 패러다임입니다. 기존에는 expect(profileImage).toBeVisible() 같은 코드를 작성했다면, 이제는 자연어로 기대 결과를 기술합니다. 장점은 비개발자도 테스트 시나리오를 작성할 수 있다는 것이고, 단점은 자연어의 모호함으로 인해 때때로 일관성 없는 결과가 나올 수 있다는 점입니다.

Christopher는 이 문제를 해결하기 위해 프롬프트를 반복적으로 개선하고, Claude의 응답 형식을 JSON 등으로 구조화하여 파싱 가능하게 만드는 과정을 상세히 설명합니다. 또한 iOS와 Android 양 플랫폼에서 동일한 프롬프트 세트로 QA를 수행할 수 있다는 점은 크로스 플랫폼 팀에게 실질적인 이점이 됩니다.

업계 맥락 — AI 기반 테스트의 부상

이 실험은 고립된 시도가 아닙니다. 최근 AI를 활용한 테스트 자동화는 빠르게 성장하는 분야입니다. Applitools는 이미 수년 전부터 Visual AI를 활용한 시각적 회귀 테스트를 제공하고 있고, Testim이나 Mabl 같은 도구도 AI 기반 요소 인식을 통해 테스트 안정성을 높이려는 시도를 해왔습니다.

그러나 이들 도구와 Claude를 활용한 접근의 결정적 차이가 있습니다. 기존 Visual AI 도구들은 픽셀 단위 비교나 특정 패턴 인식에 특화되어 있어서, "이 화면이 이전 스크린샷과 다른가?"를 판단하는 데는 뛰어나지만, "이 화면이 사용자 경험 관점에서 올바른가?"를 판단하기는 어렵습니다. 반면 Claude 같은 범용 멀티모달 LLM은 화면의 맥락을 이해하고, "이 에러 메시지가 사용자에게 충분한 정보를 제공하는가?" 같은 질적 판단까지 가능합니다.

물론 한계도 분명합니다. LLM 호출 비용, 응답 시간(스크린샷당 수 초), 그리고 간헐적으로 발생하는 할루시네이션 문제는 프로덕션 CI/CD 파이프라인에 바로 통합하기에는 아직 극복해야 할 과제입니다.

한국 개발자에게 주는 시사점

국내 모바일 개발 환경에서 이 접근은 특히 흥미롭습니다. 한국은 모바일 퍼스트 시장이고, 카카오톡, 네이버, 토스 같은 슈퍼앱들은 수십 개의 기능 모듈을 하나의 앱에 담고 있어 QA 부담이 상당합니다. 또한 국내 특유의 빠른 개발 주기를 고려하면, AI 기반 QA 보조 도구의 필요성은 더 크다고 볼 수 있습니다.

당장 프로덕션에 적용하기보다는, 릴리스 전 스모크 테스트나 디자인 QA(시안과 실제 구현이 일치하는지 확인) 용도로 실험해보는 것이 현실적인 시작점일 것입니다. Claude의 비전 API에 Figma 디자인 시안과 실제 앱 스크린샷을 함께 전달하고 차이점을 찾아달라고 하는 것만으로도 상당한 가치를 얻을 수 있습니다.

마무리

AI가 코드를 작성하는 것을 넘어 앱의 품질을 판단하는 역할까지 맡기 시작했다는 점에서, 이 사례는 QA 자동화의 새로운 방향성을 보여줍니다. 아직은 실험 단계이지만, 멀티모달 AI의 성능이 빠르게 향상되고 있다는 점을 감안하면 1~2년 내에 상당히 실용적인 수준에 도달할 가능성이 높습니다.

여러분의 팀에서는 모바일 QA를 어떻게 처리하고 계신가요? AI 기반 접근을 시도해본 경험이 있다면 공유해주세요.