소프트웨어 품질 보증(QA)은 오랫동안 반복 노동과 자동화 사이의 긴장 속에 놓여 있었다. 테스트 코드를 미리 작성해 두면 회귀(regression)는 막을 수 있지만, 코드에 명시되지 않은 상황이나 사람이 실제로 앱을 쓰며 마주치는 미묘한 흐름의 단절은 걸러내기 어렵다. 반대로 사람이 직접 손으로 눌러보는 수동 테스트는 그런 결함을 잘 찾아내지만 모든 변경마다 반복하기엔 비용이 크다. 와이콤비네이터 2024년 겨울 기수로 출발한 모멘틱(Momentic)은 이 간극을 노리는 스타트업으로, 사람처럼 앱을 직접 조작해 버그를 찾아내는 AI 에이전트를 내세운다.
사람처럼 앱을 써보는 에이전트
모멘틱의 핵심 제품은 'Mo'라는 이름의 AI QA 엔지니어다. Mo는 웹과 iOS, 안드로이드 앱을 대상으로 실제 사용자처럼 화면을 탐색하며 버그를 찾고, 단순히 '문제가 있다'고 알리는 데 그치지 않고 재현 절차(repro steps)를 함께 제시한다. 재현 경로가 명확하면 개발자가 원인을 추적하고 수정 여부를 검증하는 시간이 크게 줄어든다는 점에서, 버그 리포트의 실무적 가치는 발견 자체보다 재현 가능성에 달려 있는 경우가 많다.
여기에 더해 모멘틱은 Mo가 앱을 조작한 실행 기록을 회귀 테스트로 전환한다. 한 번 탐색한 경로가 테스트로 굳어지면, 이후 모든 풀 리퀘스트(PR)마다 같은 흐름이 자동으로 검증된다. 탐색적 테스트에서 발견한 결함이 곧바로 재발 방지 자산으로 쌓이는 구조로, 수동 테스트의 발견력과 자동화 테스트의 반복성을 한 흐름 안에 묶으려는 시도로 읽힌다.
어떤 종류의 버그를 겨냥하나
모멘틱이 공개한 사례들은 이 접근이 노리는 결함의 성격을 잘 보여준다. 한 소비자 핀테크 앱에서는 로그인 라우팅이 바뀌면서 신규 기기 인증 단계가 우회되어 보안 체크포인트가 조용히 건너뛰어졌다. 대형 승차 공유 앱에서는 의존성 업데이트 이후 승차 예약 뒤 실시간 도착 예정 시각(ETA) 구독이 소리 없이 실패했다. 한 웰니스 앱에서는 iOS 생명주기 변경으로 휴대폰이 잠기는 순간 수면 타이머가 초기화돼 밤사이 오디오 재생이 중단됐다.
커머스 쪽 사례도 있다. 음식 배달 마켓플레이스에서는 결제 폼 리팩터링 이후 저장된 카드가 더 이상 자동 입력되지 않아 재방문 사용자가 모바일 결제를 포기했고, 온라인 리테일 마켓플레이스에서는 2페이지로 넘어가면 적용해 둔 카테고리와 가격 필터가 모두 초기화됐다. 여행 마켓플레이스에서는 유효성 검증 변경으로 여러 구간이 묶인 프로모션 코드가 마지막 결제 단계에서 거부됐고, 스트리밍 플랫폼에서는 로케일 감지 버그로 재생 시작 시 엉뚱한 언어의 자막이 선택됐다.
이 사례들의 공통점은 단순한 크래시가 아니라는 데 있다. 대부분 '조용히' 어긋나는 결함이다. 보안 단계가 소리 없이 생략되고, 구독이 조용히 끊기고, 자동 입력이 슬그머니 사라진다. 기능이 완전히 멈추지 않기 때문에 단위 테스트나 간단한 스모크 테스트로는 잘 드러나지 않고, 로그인·결제·검색처럼 핵심 흐름에 숨어 있어 실제 매출과 사용자 이탈에 직접 영향을 준다. 모멘틱은 이런 유형에서 하루에 12건의 버그를 잡아 겉으로는 드러나지 않았을 레거시 API 문제를 노출시킨 사례를 성과로 제시한다.
실무적 의미와 한계
한국의 개발·QA 조직 입장에서 이 접근의 매력은 분명하다. 명세에 적히지 않은 흐름의 결함을 사람이 매번 눌러보지 않고도 잡아내고, 발견된 경로가 PR 단위 회귀 테스트로 자동 축적된다면 테스트 유지보수 부담이 크게 줄어든다. 특히 iOS 생명주기나 의존성 업데이트처럼 플랫폼 변경이 유발하는 간헐적 결함은 사람 QA도 놓치기 쉬운 영역이라, 자동 탐색이 보완재가 될 여지가 있다.
다만 공개된 정보만으로 판단하기 어려운 부분도 많다. 사례들은 모두 익명화된 성과 소개일 뿐 재현율이나 오탐(false positive) 비율, 에이전트가 앱 구조를 얼마나 사전 학습해야 하는지, 테스트 데이터와 인증 환경을 어떻게 다루는지 같은 운영상의 조건은 드러나 있지 않다. 생성된 회귀 테스트가 UI 변경에 얼마나 견고한지, 에이전트의 탐색이 실제 사용자 흐름을 얼마나 대표하는지도 도입 전 검증이 필요한 지점이다. 사람처럼 쓰는 QA 에이전트라는 방향성은 설득력 있지만, 그 실효성은 결국 각 조직의 앱 복잡도와 통합 비용 안에서 가늠해 볼 문제다.