TECH 으로 돌아가기
TECH HACKER NEWS 오늘 7분 읽기 22 READS

AI 에이전트가 화면에 화살표를 그린다 — macOS 도구 bigarrow

AI 에이전트가 화면에 화살표를 그린다 — macOS 도구 bigarrow
SOURCE IMAGE · HACKER NEWS

AI 코딩 에이전트는 모노레포를 리팩터링하고 마이그레이션을 작성하며 복잡한 개념을 설명하는 수준까지 올라왔다. 그러나 작업 도중 사람이 직접 버튼 하나를 눌러야 하는 순간이 오면, 에이전트가 할 수 있는 일은 사용자가 보고 있지도 않은 터미널에 "대화상자에서 허용을 눌러 주세요"라고 출력하는 것이 전부다. 최근 공개된 macOS 커맨드라인 도구 bigarrow(big-arrow-on-the-screen)는 바로 이 간극을 겨냥한다. 에이전트가 화면 위에 큰 화살표와 안내 문구, 사각형을 그려 사람에게 "여기를 누르라"고 직접 가리키게 해 준다. MIT 라이선스로 공개됐고, Claude Code와 Codex용 스킬(skill) 형태로도 함께 제공된다.

무엇을 하고, 무엇을 하지 않는가

bigarrow의 설계 철학은 '가리키기'에 철저히 한정돼 있다는 점이다. 개발자는 이 도구가 화면 주석 앱도, 자동 클릭 봇도, 스크린샷 도구도 아니라고 분명히 선을 긋는다. 클릭하지 않고, 입력하지 않으며, 화면을 캡처하지도 않는다. 오직 가리키기만 한다. 투명한 창 하나가 모든 윈도우와 대화상자, 전체 화면 앱 위에 스크린세이버 수준의 레이어로 떠서 화살표를 표시하되, 정작 활성 창이 되지는 않는다. macOS에서 '맨 앞에 있는 것'과 '포커스를 가진 것'은 다른 개념인데, bigarrow는 앞에 있으면서도 포커스를 가져가지 않는다. 그림을 그리는 동작 자체에는 어떤 macOS 권한도 필요 없다는 점도 특징이다.

단일 Swift 바이너리로 동작하며 데몬도, 메뉴바 아이콘도, 계정도, 텔레메트리도 없다. 개발자는 "안에 AI가 들어 있지 않다"는 점을 두 번 확인했다고 농담처럼 강조한다. 이 도구는 AI 스택에서 가장 지능이 낮은 부품이며, 그 점을 자랑스러워한다는 것이다.

클릭은 통과, 포커스는 유지

실무적으로 중요한 동작은 클릭 통과(click-through)다. 화살표의 머리 근처나 대상 위를 클릭하면 그 입력이 곧바로 아래 앱으로 전달되며 포커스도 빼앗지 않는다. 반면 안내판(sign)이나 화살표 몸통을 클릭하면 화살표가 스스로 사라진다. 커서를 올리면 그 부분이 어두워져 '여기를 누르면 없어진다'는 신호를 준다. 또한 모든 화살표는 시간이 지나면 저절로 사라지므로, 에이전트가 뒷정리를 잊어도 화면에 잔상이 남지 않는다. 여러 디스플레이와 Space를 모두 지원하고 음수 좌표도 처리하며, 화살표가 떠 있는 디스플레이를 뽑으면 화살표도 알아서 물러난다. CI 러너 기준 CPU 사용률은 1.4%로, 실제 렌더링은 Core Animation이 렌더 서버에서 처리한다.

대상을 지정하는 방식은 다양하다. 절대 좌표(--at), 사각형 영역(--rect), 마우스 위치(--mouse), 특정 앱의 창(--window), 접근성 요소(--element), 그리고 Peekaboo의 스냅샷(--peekaboo) 등을 쓸 수 있다. --app 옵션을 주면 가리키려는 앱이나 창, 크롬·사파리 탭을 먼저 앞으로 끌어올린 뒤 화살표를 그린다. 터미널 뒤에 숨은 창을 가리키는 건 무의미하기 때문이다. 그림 그리기 자체엔 권한이 필요 없지만, 접근성 요소로 대상을 찾는 경우에는 권한이 필요하며, 이 권한은 bigarrow를 실행한 앱(터미널, iTerm2, VS Code, Claude 등)에 부여된다. 크롬 웹페이지 요소는 --force-renderer-accessibility 플래그가 있어야 인식되고, 그렇지 않으면 페이지 좌표로 가리켜야 한다.

에이전트 친화적 설계와 토큰 비용

모든 명령은 --json 출력을 지원하고, 종료 코드도 명확히 구분된다. 정상은 0, 잘못된 입력은 2, 대상을 못 찾으면 3, 권한이 없으면 4를 반환한다. 권한이 없을 때는 어떤 앱의 어떤 설정 창을 열어야 하는지까지 알려 준다. doctor 명령으로 권한과 디스플레이 상태를 점검할 수 있어, 에이전트가 기계적으로 상태를 판단하기 좋다.

스킬 패키지는 에이전트에게 언제 가리킬지, 대상을 어떻게 고를지, 안내판에 완전한 문장을 쓰고 사용자가 자리를 비웠을 때는 음성으로 읽어 주며, 사용자가 행동하면 멈추도록 가르친다. 토큰 비용 설계도 눈여겨볼 만하다. 에이전트가 항상 보는 스킬 설명은 182토큰에 불과하고, 실제 지시문(1,398토큰)은 가리키기로 결정했을 때만, 패널 ID와 외형 플래그(1,008토큰)는 필요할 때만 로드된다. 맥락 창을 아끼려는 요즘 에이전트 설계와 맞닿은 접근이다.

공개 이틀 만에 약 400개의 스타가 붙었고, 선행 연구로 26개 도구를 조사했으나 같은 일을 하는 것은 없었다고 한다. 오버레이와 스킬 패키징 방식은 Peter Steinberger의 Peekaboo와 Nameplate에서 영향을 받았다. 다만 두 도구는 라벨이 달린 화살표로 가리키지는 않는다. 보안 측면에서, 셸 명령을 사용자 권한으로 실행하는 에이전트는 이미 더 큰 일을 할 수 있으므로 bigarrow가 새로운 위협을 추가하지는 않는다는 것이 개발자의 설명이다. 그럼에도 사각형과 링은 테두리만 그려 대상을 가리지 않고, 안내판은 대상과 최대한 겹치지 않으며, 클릭 한 번으로 사라지도록 하는 안전장치를 테스트로 검증했다고 밝혔다. 결국 이 도구의 가치는 거창한 기능이 아니라, 사람과 에이전트의 협업에서 '사람이 개입해야 하는 순간'을 명확히 지목해 주는 좁고 분명한 역할에 있다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://github.com/franzenzenhofer/big-arrow-on-the-screen
SHARE
NEXT · CHOOSE

변화를 읽었다면,
내가 만들 수익 구조를 고릅니다.

정보를 더 모으는 데서 멈추지 않고, 광고·외주·판매·중개·구독 중 내 상황에 맞는 출발점을 정해보세요.

21가지 수익 구조 살펴보기 →
처리 중...