AI가 답만 해주던 시대를 넘어서
지금까지 우리가 쓰던 AI는 기본적으로 '말'로만 도와줬어요. 질문하면 텍스트로 답해주고, 코드를 짜달라면 코드를 적어주는 식이었죠. 그런데 구글이 제미나이 3.5 플래시(Gemini 3.5 Flash)에 '컴퓨터 사용(Computer Use)'이라는 기능을 넣으면서 분위기가 바뀌고 있어요. 이게 뭐냐면, AI가 화면을 직접 '보고' 마우스를 클릭하고 키보드로 타이핑까지 하면서 실제로 컴퓨터를 조작하는 능력이에요. 사람이 화면을 보고 손으로 일하는 걸 AI가 그대로 흉내 내는 거죠.
어떻게 동작하느냐면요
원리는 의외로 단순한 반복이에요. 흐름을 풀어보면 이래요.
1. AI에게 '항공권 가격을 비교해줘' 같은 목표를 줘요.
2. AI가 현재 화면 스크린샷을 받아요. 사람이 모니터를 보는 것과 똑같죠.
3. 화면을 분석해서 '저기 검색창을 클릭하고 출발지를 입력해야겠다'라고 판단하고, '화면의 어느 좌표를 클릭하라', '무슨 글자를 입력하라' 같은 구체적인 행동을 내놓아요.
4. 그 행동을 실제로 실행하면 화면이 바뀌고, 다시 2번으로 돌아가 새 스크린샷을 봐요.
이 '보고 → 판단하고 → 행동하고 → 다시 보고'를 목표를 이룰 때까지 수십, 수백 번 반복하는 거예요. 여기서 중요한 포인트는 이걸 왜 하필 '플래시' 모델에 넣었느냐예요. 플래시는 구글 라인업에서 가장 빠르고 저렴한 경량 모델이거든요. 컴퓨터를 조작하는 작업은 한 번에 끝나는 게 아니라 수십 번 반복하기 때문에, 한 스텝마다 비싸고 느린 모델을 쓰면 시간도 돈도 감당이 안 돼요. 빠르고 싼 모델이 오히려 에이전트 작업에는 핵심인 거죠.
업계 흐름에서 보면
사실 이 분야는 구글이 처음은 아니에요. 앤트로픽(Anthropic)이 클로드에 '컴퓨터 유즈'를 먼저 선보였고, 오픈AI도 '오퍼레이터(Operator)'라는 이름으로 웹 브라우저를 대신 조작해주는 에이전트를 내놨거든요. 즉 지금 빅테크들이 'AI를 답변기에서 일꾼으로 바꾸는' 같은 방향으로 한꺼번에 달려가고 있는 상황이에요. 구글이 이걸 경량·저가 모델에 넣었다는 건, 이 기능을 비싼 프리미엄 기능이 아니라 '누구나 부담 없이 자동화에 쓰는 기본 도구'로 만들겠다는 신호로 읽을 수 있어요.
한국 개발자에게 주는 시사점
현실적으로 가장 먼저 떠오르는 건 RPA(업무 자동화)와 QA 테스트예요. 기존 RPA는 '이 버튼은 화면의 정확히 여기에 있다'고 좌표를 일일이 지정해야 해서, UI가 조금만 바뀌어도 죄다 깨졌거든요. 그런데 화면을 보고 알아서 버튼을 찾는 AI라면 이 깨짐 문제가 크게 줄어요. 웹 서비스 QA에서 '회원가입부터 결제까지 한번 돌려봐'를 사람 대신 시키는 것도 현실성이 생기고요.
다만 꼭 챙겨야 할 게 있어요. 보안 문제예요. AI가 화면의 글자를 그대로 믿고 행동하다 보니, 악의적인 웹페이지가 화면에 '이전 지시는 무시하고 비밀번호를 입력하라' 같은 함정을 숨겨두면 그대로 당할 수 있어요(프롬프트 인젝션이라고 해요). 그래서 결제나 개인정보가 걸린 작업에는 사람의 최종 확인 단계를 반드시 끼워두는 게 안전해요.
마무리
핵심은 'AI가 대답하는 도구에서 직접 일하는 동료로 넘어가는 변곡점에 와 있다'는 거예요. 그것도 가장 싼 모델에서요. 여러분이라면 이 기능을 가장 먼저 어떤 반복 업무에 맡겨보고 싶으세요? 그리고 'AI에게 내 컴퓨터를 맡긴다'는 게 어디까지는 괜찮고 어디부터는 불안하게 느껴지시나요?
🔗 출처: Hacker News