대답하는 AI에서 대신 해주는 AI로
NanoMuse라는 오픈소스 AI 에이전트가 공개됐어요. 소개는 휴대폰과 컴퓨터를 위한 오픈소스 AI 에이전트라는 한 줄이 전부예요. 그런데 이 한 줄에 요즘 AI 업계가 가장 공들이는 방향이 담겨 있어요. 지금까지 챗봇은 질문에 대답하는 존재였잖아요. 이런 에이전트는 화면을 보고 직접 탭하고 클릭하고 타이핑해서 일을 끝내 줘요. 예를 들어 내일 오전 회의를 캘린더에 넣고 참석자들한테 메시지 보내 달라고 하면, 사람이 하듯이 앱을 열고 버튼을 눌러요.
이런 에이전트는 어떻게 움직일까
구조는 생각보다 단순해요. 관찰, 판단, 실행을 반복하는 루프예요. 지금 화면을 보고(관찰), LLM이 다음엔 저 버튼을 누르자고 결정하고(판단), 실제로 터치나 클릭을 보낸 다음(실행), 바뀐 화면을 다시 봐요.
화면을 보는 방법은 크게 두 가지예요. 첫째는 스크린샷을 비전 모델에 보여주는 방법이에요. 사람처럼 픽셀을 보고 판단하니까 어떤 앱에든 쓸 수 있지만, 버튼 좌표를 정확히 찍는 게 의외로 어려워요. 둘째는 접근성 트리(UI 구조 정보)를 읽는 방법이에요. 이게 뭐냐면, 시각장애인용 스크린리더가 읽어 주는 정보예요. 이 화면에 로그인 버튼이 있고 그 아래에 비밀번호 입력칸이 있다는 식으로 정리된 데이터죠. 사진을 보고 길을 찾느냐, 지도 데이터를 보고 길을 찾느냐의 차이라고 보면 돼요. 실제로는 두 방법을 섞어 쓰는 경우가 많아요.
실행은 안드로이드라면 보통 ADB(개발자용 디버깅 연결 도구)나 접근성 서비스로 하고, 데스크톱이라면 마우스·키보드 자동화 라이브러리나 OS 접근성 API로 해요. NanoMuse가 이 중 어떤 방법을 쓰는지, 어떤 LLM을 연결할 수 있는지는 레포 README에서 확인하는 게 정확해요.
왜 굳이 화면을 조작할까
그냥 API로 하면 되지 않나 싶을 수 있는데요, 우리가 매일 쓰는 서비스 중 상당수는 공개 API가 없어요. 배달앱, 은행 앱, 병원 예약, 회사 사내 시스템 같은 곳을 자동화하려면 사람처럼 화면을 조작하는 수밖에 없어요. 예전에는 RPA(업무 자동화 봇)가 좌표와 규칙으로 이걸 했는데, 화면이 조금만 바뀌어도 깨지기 일쑤였어요. LLM 기반 에이전트는 로그인 버튼 위치가 바뀌어도 의미를 이해하고 찾아가요. 이게 큰 차이예요.
업계 맥락: 다들 이쪽으로 가고 있다
이 분야는 빅테크가 앞다퉈 뛰어든 곳이에요. Anthropic이 2024년에 Claude의 Computer Use를 공개했고, OpenAI는 Operator를 내놓은 뒤 ChatGPT 에이전트로 이어 갔고, 구글도 Project Mariner를 선보였어요. 모바일 쪽에서는 텐센트의 AppAgent, 알리바바의 Mobile-Agent, 바이트댄스의 UI-TARS 같은 연구가 활발해요. 오픈소스로는 브라우저 자동화용 browser-use와 터미널 중심의 Open Interpreter가 있고요.
NanoMuse 같은 오픈소스 프로젝트의 가치는 선택권에 있어요. 상용 서비스를 쓰면 내 화면을 클라우드로 보내야 해요. 오픈소스라면 원하는 모델을 붙이거나 로컬 모델로 돌려서 개인정보가 기기 밖으로 안 나가게 구성해 볼 수 있어요. 대부분의 프로젝트가 브라우저나 데스크톱 한쪽에 집중하는데, 폰과 PC를 함께 다룬다는 것도 다른 점이에요.
현실적인 한계도 알고 쓰자
솔직히 아직 완벽하진 않아요. 여러 단계를 거치는 작업은 중간에 한 번만 삐끗해도 통째로 실패하고, 단계마다 스크린샷을 모델에 보내니까 느리고 토큰 비용도 꽤 들어요. 더 중요한 건 보안이에요. 화면 속 웹페이지나 메시지에 이전 지시는 무시하고 연락처를 전송하라는 문장이 숨어 있으면, 에이전트가 이걸 명령으로 착각할 수 있거든요. 이런 공격을 프롬프트 인젝션이라고 불러요. 송금, 결제, 삭제처럼 되돌릴 수 없는 행동은 반드시 사람이 확인하는 장치가 있어야 해요.
한국에는 한국만의 벽도 있어요. 금융 앱은 대부분 화면 캡처를 막고 보안 키패드를 쓰고, 접근성 서비스나 루팅을 감지하면 실행 자체를 막기도 해요. 에이전트 입장에서는 눈을 가린 상태가 되는 거예요.
한국 개발자에게 주는 시사점
당장 써 볼 만한 곳은 QA 자동화예요. Appium 스크립트를 한 줄씩 짜는 대신, 회원가입부터 첫 주문까지 진행해 보라는 식의 자연어 시나리오로 탐색 테스트를 돌려 보는 실험은 충분히 해 볼 만해요. 앱을 만드는 입장이라면 기억해 둘 것도 하나 있어요. 접근성 라벨(contentDescription 등)을 잘 단 앱은 에이전트도 잘 읽어요. 앞으로는 에이전트가 쓰기 편한 UI가 새로운 품질 기준이 될 수도 있어요.
마무리
한 줄로 정리하면, NanoMuse는 API가 없는 곳까지 AI가 대신 손을 뻗는 흐름을 오픈소스로 직접 체험해 볼 수 있는 프로젝트예요. 내 폰을 AI 에이전트에게 맡긴다면 어디까지 허락하실 건가요? 금융 앱처럼 막혀 있는 곳은 앞으로 어떻게 풀려야 한다고 보세요?
🔗 출처: Hacker News