"계속할까요? Y/N"에 지친 당신에게 — AI 에이전트 '권한 피로' 이야기

"계속할까요? Y/N" — 어디서 많이 본 장면이죠?

요즘 AI 코딩 에이전트, 한 번쯤 써보셨을 거예요. Claude Code나 Cursor 같은 도구한테 "이 기능 만들어줘" 하고 시키면 알아서 코드를 짜주는데요. 그런데 막상 옆에서 지켜보고 있으면, 일을 시키는 건지 결재 도장을 찍는 건지 헷갈릴 때가 많아요. "이 파일 수정해도 될까요? Y/N", "이 명령어 실행할까요? Y/N", "외부로 요청 보내도 돼요? Y/N"… 정말 끝도 없이 물어보거든요.

이 묘한 피곤함을 60초짜리 미니 게임으로 풀어낸 작품이 등장했어요. 화면에 쉴 새 없이 뜨는 승인 버튼을 누르다 보면, 어느 순간 내용은 읽지도 않고 기계처럼 "Yes"만 연타하고 있는 자신을 발견하게 되는 거죠. 웃기지만 묘하게 뜨끔한 게임이에요. 그 안에는 요즘 업계가 진지하게 들여다보는 '권한 피로(permission fatigue)' 라는 문제가 숨어 있거든요.

권한 피로가 뭐냐면요

AI 에이전트는 똑똑하지만 동시에 위험할 수도 있어요. 멋대로 파일을 지우거나, 위험한 명령어를 실행하거나, 회사 서버에 이상한 요청을 보낼 수도 있으니까요. 그래서 대부분의 에이전트는 "중요한 행동을 하기 전엔 사람에게 한 번 물어본다"는 안전장치를 둬요. 이걸 휴먼 인 더 루프(human-in-the-loop), 즉 '사람이 중간에 끼어서 확인하는 구조'라고 불러요.

문제는 이 확인이 너무 자주 일어난다는 거예요. 한 작업에 수십 번씩 물어보면, 사람은 결국 지쳐서 내용을 제대로 안 보고 그냥 승인해버리거든요. 이걸 도장 찍듯 무지성으로 통과시킨다고 해서 러버스탬핑(rubber-stamping, 고무도장 찍기)이라고 해요. 그러면 애써 만든 안전장치가 사실상 무력화되는 거죠. 막으라고 세워둔 검문소인데 검문하는 사람이 졸고 있으면 의미가 없잖아요.

사실 이건 새로운 현상이 아니에요. 보안 담당자가 하루에 알림을 수천 개 받으면 진짜 위험한 알림을 놓치는 알림 피로(alert fatigue), 웹사이트마다 뜨는 쿠키 동의 배너를 다 "수락"으로 눌러버리는 동의 피로(consent fatigue)랑 똑같은 결이에요. 사람한테 판단을 너무 자주 떠넘기면, 그 판단 자체가 부실해진다는 거죠.

그래서 어떻게 설계해야 할까

핵심은 자율성(autonomy)과 통제(control) 사이의 균형이에요. 에이전트한테 너무 많은 자유를 주면 위험하고, 너무 자주 물어보면 사람이 지쳐서 안전장치가 망가져요. 그래서 잘 만든 에이전트들은 모든 행동을 똑같이 취급하지 않아요.

예를 들어 "파일 읽기"처럼 위험이 거의 없는 일은 묻지 않고 그냥 하고, "파일 삭제"나 "결제 API 호출"처럼 되돌리기 힘든 일만 콕 집어서 확인을 받는 식이죠. 위험도에 따라 차등을 두는 거예요. 또 "이 세션 동안은 이 명령어 계속 허용", "이 폴더 안에서는 자유롭게" 같은 식으로 허용 목록(allowlist)을 미리 정해두면 매번 묻는 횟수를 확 줄일 수 있어요. 대신 무슨 일을 했는지 감사 로그(audit log)로 다 남겨두면, 나중에 문제가 생겨도 추적할 수 있고요.

업계는 지금

이 고민은 특정 회사만의 것이 아니에요. Claude Code엔 권한을 단계별로 조절하는 모드가 있고, Cursor에는 확인 없이 알아서 다 실행하는 이른바 'YOLO 모드'가 있어요. Devin처럼 거의 사람 개입 없이 돌아가는 자율 에이전트도 등장했고요. 게다가 요즘은 MCP(Model Context Protocol) 같은 표준으로 에이전트가 외부 도구나 데이터에 연결되는 경우가 늘면서, "이 도구한테 어디까지 권한을 줄 것인가"가 더 복잡한 숙제가 됐어요. 자유도를 높일수록 편하지만, 사고 한 번이면 크게 다칠 수 있으니까요.

한국 개발자에게는

사내에 AI 에이전트를 도입하려는 팀이라면 이 문제를 꼭 짚어봐야 해요. "일단 다 허용 모드로 켜고 빠르게 가자"는 유혹이 크지만, 그건 검문소 문을 활짝 열어두는 거랑 같거든요. 반대로 너무 빡빡하게 막으면 개발자들이 짜증 나서 안 쓰게 되고요. 그래서 위험도별 차등 승인, 일괄 승인(batch approval), 세션 단위 허용, 그리고 빠짐없는 로그, 이 네 가지를 잘 조합하는 게 현실적인 답이에요. UX를 설계하는 분이라면 "사용자가 무지성으로 Yes를 누르지 않게 하려면 어떻게 물어봐야 할까"를 고민해볼 좋은 주제이기도 하고요.