스크린샷 없이 텍스트만 기록하는 '작업 기억' 앱, LLM에게 넘기기 위한 실험

AI 에이전트가 개인의 작업 맥락을 이해하려면, 먼저 그 사람이 무엇을 했는지에 대한 기록이 필요하다. 최근 해커뉴스 'Show HN'에 공개된 오픈소스 프로젝트 '앰비언트 컨텍스트(Ambient Context)'는 이 문제를 정면으로 다룬다. macOS 메뉴 바에 상주하는 이 앱은 사용자가 지금 어떤 창에서 무엇을 보고 있는지를 몇 초 간격으로 읽어 하루 한 개의 마크다운 파일에 계속 이어 붙인다. 흥미로운 점은 화면을 이미지로 캡처하지 않는다는 것이다. 대신 macOS의 접근성 트리(accessibility tree)에서 텍스트만 추출한다.

결과물은 사람이 나중에 훑어보라고 만든 로그가 아니라, 사용자 본인의 LLM이 통째로 읽으라고 만든 자료다. 개발자는 클로드 코드(Claude Code)나 다른 에이전트를 이 폴더에 연결해두면 "화요일에 내가 무슨 일을 했지?"라는 질문에 답하거나, 진행 중인 프로젝트에 대한 기억을 쌓거나, 스탠드업 미팅용 보고를 대신 작성하게 할 수 있다고 설명한다. 개인의 하루를 구조화된 텍스트로 바꿔 에이전트의 입력으로 삼는다는 발상이다.

스크린샷이 아니라 텍스트를 고른 이유

화면 기록 방식의 개인 메모리 도구는 이미 여럿 있지만, 대개 이미지를 저장하고 나중에 OCR이나 비전 모델로 다시 읽는다. 앰비언트 컨텍스트는 그 단계를 건너뛰고 처음부터 접근성 API가 노출하는 텍스트만 가져온다. 이 선택은 두 가지 실무적 효과를 낳는다. 먼저 저장물이 순수 평문이라 용량이 작고, LLM에 그대로 밀어 넣기 쉽다. 개발자는 파일 크기를 관리하기 위해 본문 줄을 하루에 한 번만 기록하도록 설계했다고 밝혔다. 같은 내용을 반복해서 봐도 중복 기록하지 않으므로, 하루치 파일 전체를 모델에 넘길 수 있을 만큼 작게 유지된다는 것이다.

파일 형식도 이 용도에 맞춰져 있다. 블록 제목(heading)이 그날의 타임라인 역할을 하고, 캡처 폴더에는 AGENTS.md가 함께 놓여 형식과 읽는 방법을 문서화한다. 에이전트가 폴더를 열었을 때 별도 설명 없이 구조를 파악하도록 하려는 배려다. 열린 눈 아이콘은 기록 중, 닫힌 눈은 정지를 뜻하며, 아이콘을 우클릭하면 오늘 파일과 폴더, 설정에 접근할 수 있다.

프라이버시를 설계 전제로 둔 부분

화면의 텍스트를 상시 읽어 파일로 남긴다는 개념은 그 자체로 민감하다. 개발자도 이를 의식해 수집 범위를 좁게 제한했다. 앱은 현재 포커스된 창 하나만 읽으며, 배경 창이나 다른 디스플레이, 최소화된 창은 건드리지 않고 화면이 잠긴 동안에는 아예 동작하지 않는다. 비밀번호 관리자와 사생활 보호 브라우징은 통째로 제외하고, 접근성 수준에서 보안 입력 필드를 건너뛰며, 기록 전에 패턴 기반으로 비밀 정보를 지운다. 모든 산출물은 사용자 자신의 디스크에 평문으로만 남고, 캡처 폴더 자체는 수집 대상에서 빠져 자기 자신을 관찰하지 못하게 했다. 개발자는 이 방어에 구멍이 있으면 이슈를 열어달라고 요청하고 있어, 완결된 보증이 아니라 검증을 받겠다는 태도로 읽힌다.

아직은 직접 빌드해야 하는 초기 단계

현실적인 한계도 분명하다. 프로젝트는 초기 단계이며 서명되지 않았다. 애플 개발자 등록이 진행 중이라 공증(notarised)된 다운로드가 아직 없고, 당분간은 사용자가 직접 빌드해야 한다. Node, Rust, Xcode 커맨드라인 도구가 필요하며 빌드에는 약 2분이 걸린다고 한다. 완성된 앱은 src-tauri/target/release/bundle/macos/ 경로에 생성되고, 개발 중에는 npm run tauri dev로 핫 리로드를 쓸 수 있다. Tauri 기반이라는 점에서 웹 프런트엔드와 Rust 백엔드를 결합한 구조임을 짐작할 수 있다.

한국 실무자 입장에서 이 도구의 값어치는 '개인 작업 로그를 에이전트의 장기 기억으로 전환한다'는 구체적 워크플로에 있다. 스탠드업 자동 작성이나 프로젝트 맥락 회상 같은 반복 업무에 곧바로 붙여볼 수 있고, 텍스트 전용이라 저장물이 가볍고 감사(audit)하기도 쉽다. 다만 macOS 전용이고 서명·공증이 아직이라 조직 배포에는 이르며, 상시 화면 텍스트 수집이라는 특성상 사내 보안 정책과 정면으로 부딪힐 여지가 크다. 개인 개발자가 자기 장비에서 실험하기에는 매력적이지만, 팀 단위 도입을 논하기 전에 무엇을 어디까지 기록하는지에 대한 검증이 먼저 필요한 단계다.