AI 에이전트가 사내 데이터를 다루는 시대에 들어서면서 역설적인 문제가 떠올랐다. 에이전트는 문서를 검색하고 데이터베이스에 질의하는 일 자체는 이미 잘 해내지만, 정작 실무에서 발목을 잡는 것은 '속도'가 아니라 '신뢰도'다. 매출 지표를 아무리 빠르게 답해도 그 숫자가 틀렸다면 아무 가치가 없기 때문이다. NVIDIA가 아파치 2.0 라이선스로 공개한 오토 온톨로지(Auto Ontology)는 바로 이 지점을 겨냥한다. 데이터 위에 의미론적이고 그래프 기반의 추론 계층을 쌓아 올리는 파이썬 프레임워크로, 에이전트가 결정론적으로 질의를 생성하고 더 나은 맥락을 끌어오며 그 과정을 설명 가능하게 만드는 것을 목표로 한다.
에이전트에 필요한 '맥락 계층'이란
NVIDIA가 정의하는 문제의 핵심은 에이전트에게 맥락 계층이 없다는 데 있다. 여기서 맥락이란 단순한 데이터 접근 권한이 아니라, 데이터가 어디에 있는지, 그것이 무엇을 의미하는지, 써도 되는 데이터인지, 어떻게 써야 하는지, 어디서 왔는지, 그리고 무엇과 유사한지까지 아우르는 정보다. 오토 온톨로지는 이런 계층을 엔터프라이즈 메타데이터로부터 자동으로 구축하고, 여러 시스템에 흩어진 정의를 서로 조정(reconcile)한다. 조직마다 '매출' '활성 사용자' 같은 지표가 시스템별로 조금씩 다르게 정의돼 있는 현실을 감안한 접근이다. 기존에 고객이 이미 보유한 시맨틱 모델을 대체하는 것이 아니라 보완하는 위치를 명확히 한 점도 눈여겨볼 만하다.
이렇게 만든 계층은 MCP(Model Context Protocol) 서버, CLI, API를 통해 어떤 에이전트 하네스에도 노출된다. 커서(Cursor)나 클로드 데스크톱 같은 도구가 MCP 서버를 거쳐 사내 데이터에 질의할 수 있다는 뜻이다. 품질 검증 측면에서는 BIRD 같은 text-to-SQL 벤치마크를 돌릴 수 있도록 별도의 온톨로지 SQL 평가 저장소를 안내하고 있어, 생성된 질의의 정확도를 외부 기준으로 측정할 통로를 열어뒀다.
구축과 운영의 실제
추론은 NVIDIA NIM 엔드포인트에 의존한다. 호스팅형 NVIDIA API 카탈로그(integrate.api.nvidia.com)를 쓰거나 자체 호스팅 NIM을 연결할 수 있다. 모델 설정은 역할별로 엔드포인트, API 키, 모델명의 삼중 환경변수로 구성되며, 비워둔 필드는 DEFAULT_MODELS_* 값으로 자동 폴백된다. 따라서 공통 기본값을 채운 뒤 임베딩 모델이나 비추론 모델처럼 달라지는 부분만 개별 재정의하는 식의 단순한 세팅이 가능하다. 배포는 도커 컴포즈로 백엔드·프런트엔드·인제스션 서비스와 Postgres, pgAdmin을 한꺼번에 띄우는 방식과 쿠버네티스 클러스터 배포(DEPLOYMENT.md) 두 갈래를 지원한다. UI는 3000번, 백엔드 API는 3001번, pgAdmin은 5050번 포트를 쓴다.
실무자가 반드시 짚어야 할 대목은 보안과 자격증명 관리다. UI에서 추가한 데이터베이스 연결의 자격증명은 Vault를 구성하지 않으면 Postgres에 평문으로 저장된다. Vault는 VAULT_ADDR, VAULT_NAMESPACE, VAULT_ROLE_ID, VAULT_SECRET_ID 네 값이 모두 설정될 때만 활성화되고, 일부만 설정하면 경고와 함께 무시된 뒤 평문 저장으로 되돌아간다. 즉 '절반만 설정한' 상태가 가장 위험하다. 또 한 가지, FastAPI 포트는 신뢰된 내부 경계로 설계돼 있어 외부에 노출해서는 안 된다. 사용자 식별을 담은 x-auto-ontology-user-id 헤더를 FastAPI가 독립적으로 검증하지 않기 때문에, 공개 클라이언트는 사용자를 해석해 이 헤더를 대신 전달하는 Next.js 게이트웨이(POST /api/chat/completions)를 거쳐야 한다.
인증은 SSO를 지원하지만, 브라우저가 얻는 세션 쿠키는 스크립트가 획득할 수 없다. 그래서 노트북이나 스케줄 작업에는 API 토큰을 발급해 x-api-key(또는 Authorization: Bearer) 헤더로 호출하도록 분리해 두었다. 대화형 요청에서는 FastAPI가 최근 완료된 최대 다섯 개 턴(1만 2,000자 이내)을 불러와 '8월은 어때?' 같은 맥락 의존적 입력을 독립적인 질문으로 재작성한 뒤 기존 text-to-SQL 그래프를 실행한다. 다만 내부 에이전트의 사고 과정, 차트 페이로드, 오류, 원시 SQL 결과셋은 맥락으로 재사용하지 않는다고 명시해, 민감한 중간 산출물이 누적 노출되지 않도록 선을 그었다.
도입을 검토할 때의 한계
유용성과 별개로 현 시점의 제약도 분명하다. 프로젝트는 외부 기여를 받지 않는 상태이며, 외부에서 제출한 이슈·PR·패치는 검토되거나 병합되지 않는다. 보안 관련 보고만 별도 프로세스를 따른다. 오픈소스로 공개돼 있어 내부에서 자유롭게 쓰고 고쳐볼 수는 있지만, 커뮤니티 주도로 로드맵이 움직이는 형태는 아니라는 뜻이다. 또한 이 소프트웨어는 런타임에 외부 자료를 자동으로 가져오고 상호작용하는데, 그 자료는 별도의 약관과 라이선스의 적용을 받으며 소프트웨어는 '있는 그대로(AS IS)' 제공된다. 가져온 자료의 보안·무결성·적합성을 검증할 책임은 전적으로 사용자에게 있다는 점을 NVIDIA는 분명히 한다.
정리하면 오토 온톨로지는 에이전틱 분석의 병목을 '검색 능력'이 아니라 '정의의 일관성과 출처 추적'으로 재정의하고, 그 계층을 메타데이터에서 자동 생성해 표준 인터페이스로 열어준다는 점에서 실무적 함의가 크다. 다만 NIM 의존, 평문 저장 기본값, 내부 포트 노출 금지 같은 운영상의 전제들을 먼저 설계에 반영해야 기대한 신뢰도를 얻을 수 있다. 기존 시맨틱 모델을 폐기하지 않고 덧대는 보완재라는 성격을 고려하면, 전면 교체보다는 특정 분석 파이프라인에서 질의 정확도를 검증하며 적용 범위를 넓혀가는 접근이 현실적이다.