세무 업무의 본질은 정답이 정해진 계산 문제를 푸는 데 있지 않다. 고객이 정리되지 않은 자료를 건네고, 질문 자체가 불완전하며, 정작 중요한 쟁점은 애초에 언급조차 되지 않는 경우가 많다. Surge AI가 공개한 벤치마크 DAYJOB: Tax는 바로 이 지점을 겨냥한다. AI 에이전트가 세무 지식과 계산 능력을 넘어, 실무자가 발휘하는 '전문적 판단'을 어디까지 재현할 수 있는지를 50개의 현실적인 세무 환경에서 측정한다. 앞서 공개된 헬스케어와 금융 편에 이은 세 번째 영역이다.
평가 방식과 성적표
DAYJOB: Tax는 8개 세무 실무 분야에 걸친 50개 과제로 구성된다. 에이전트는 고객의 요청과 뒷받침 자료를 받아 세무 신고서, 작업조서, 기술 검토 의견, 고객 자문을 산출해야 한다. 자료의 규모가 상당하다. 전체 1,789개의 작업 파일 가운데 PDF가 1,487개, 엑셀 워크북 117개, 워드 문서 38개이며 이메일·이미지·CSV·JSON도 섞여 있다. 과제당 중앙값은 30개, 많게는 123개 파일에 이른다. 신고서와 초안, K-1, W-2, 국세청 통지서, 총계정원장은 물론 세무사가 일상적으로 마주하는 비정형 증빙까지 포함된다.
평가 지표는 95% 루브릭 기준의 pass@1이다. 과제 채점 항목의 95% 이상을 충족해야 통과로 인정된다. 결과는 냉정하다. 가장 높은 Claude Sonnet 5.5가 10.8%, Claude Fable 5.1이 9.6%, Claude Opus 5.5가 9.2%에 그쳤다. 개별 단계는 수행하더라도, 과제를 처음부터 끝까지 책임지고 완수하는 일은 최신 모델에도 여전히 버겁다는 뜻이다.
'묻지 않은 질문'을 알아채는 능력
벤치마크가 측정하려는 핵심은 두 사례에서 선명하게 드러난다. 콘도를 팔려던 애나는 2026년 10월과 2027년 1월 중 언제 거래를 마치는 게 세금 면에서 유리한지 물었다. 에이전트는 두 시점 모두 최대 25만 달러의 양도차익 비과세 요건을 충족한다고 정확히 답했다. 그러나 애나가 2024년 8월에 이사를 나왔기 때문에, '매각 전 5년 중 2년 거주' 요건은 2027년 8월 말경 만료된다. 매각이 그 이후로 밀리면 면제 자격 자체를 잃을 수 있는 중대한 사안이다. 이 마감 시한을 Astra는 다섯 번의 시도에서 한 번도 짚어내지 못했고, Opus는 다섯 번 모두 지적했다.
반대 양상도 나타난다. 별거를 앞둔 부부가 로스 IRA와 401(k)를 어떻게 나눌지 묻자 Opus 5.5는 이들이 법적 혼인 관계가 아니라고 단정하고 계좌를 각자 유지하라고 권했다. 하지만 자료 속에는 텍사스 동거 이력과 콜로라도 혼인 예식 기록이 있었고, 텍사스가 일정 요건의 사실혼을 인정하는 이상 플로리다에서도 유효성이 이어질 수 있었다. 혼인 여부는 퇴직계좌 분할의 세금 결과를 바꾸는 변수다. Opus는 다섯 번 모두 미혼을 전제했지만, Astra는 다섯 번 중 네 번 혼인 여부 확인이 필요하다고 짚었다. 같은 모델군이라도 사안에 따라 판단의 강점이 엇갈린다는 점이 흥미롭다.
기존 벤치마크와의 차이
DAYJOB: Tax는 기존 세무 평가와 측정 대상이 다르다. TaxBench는 정답과 채점 기준이 정해진 114개 세무 질문을, TaxCalcBench는 신고서 계산의 정확성을, TaxLab은 납세자에게 질문해 누락 정보를 확보하고 개인 신고서를 완성하는 능력을 본다. 모두 '문제가 이미 정의된' 평가다. 반면 DAYJOB은 문제 자체를 규정하는 책임을 에이전트에게 남긴다. 손으로 쓴 영수증 사진을 읽어 재고·매출원가에 반영하거나, 앨라배마에서만 영업한다고 믿는 회사의 파견 기록에서 5개 주에 걸친 사업 활동을 발견하는 식의 과제가 그 예다. 각 과제는 법인·파트너십·개인·신탁·다주 과세 경험을 갖춘 전문가들이 설계하고 정확성·완전성·해결 가능성을 3단계로 검증한다.
실무자 입장에서 이 결과가 주는 함의는 분명하다. 현재의 프런티어 모델은 개별 세무 지식과 계산에서 상당한 역량을 보이지만, 고객이 묻지 않은 쟁점을 포착하고 상충하는 증거를 저울질하며 불완전한 정보 속에서 결론까지 끌고 가는 '소유권 있는' 업무에는 아직 못 미친다. 10%를 밑도는 통과율은 AI를 세무 보조 도구로 활용하되 최종 판단과 책임은 사람이 쥐어야 한다는 현 단계의 경계를 수치로 보여준다. 전체 리더보드와 접근 요청 정보는 DAYJOB: Tax 벤치마크 페이지에서 확인할 수 있다.