[심층분석] 모든 LLM을 하나로 묶는 오픈소스 AI 플랫폼, Onyx가 바꿀 업무 환경의 미래

왜 지금 Onyx 이야기를 해야 할까

AI 챗봇 하나쯤은 다들 써보셨을 거예요. ChatGPT, Claude, Gemini… 선택지가 정말 많아졌죠. 그런데 막상 회사에서 본격적으로 AI를 도입하려고 하면 골치 아픈 문제들이 쏟아져요. "우리 사내 문서를 AI가 검색할 수 있게 하려면 어떻게 하지?", "팀마다 다른 LLM을 쓰고 싶은데 각각 따로 구축해야 하나?", "보안 때문에 클라우드 서비스는 못 쓰는데 어쩌지?" 같은 현실적인 고민들이요.

Onyx는 바로 이런 문제를 정면으로 해결하려는 오픈소스 AI 플랫폼이에요. 한마디로 정리하면, 어떤 LLM이든 연결할 수 있고, 회사 내부 데이터를 AI가 똑똑하게 활용할 수 있게 해주는 올인원 플랫폼이라고 보면 돼요. GitHub에서 스타 2만 3천 개 이상을 받으며 빠르게 성장하고 있고, 커밋 수만 7,255개에 달하는 활발한 프로젝트예요.

최근 AI 업계의 큰 흐름 중 하나가 바로 "AI를 우리 조직에 맞게 커스터마이징하자"인데요. 단순히 범용 챗봇을 쓰는 단계를 넘어서, 우리 회사만의 데이터와 워크플로우에 딱 맞는 AI 시스템을 구축하고 싶은 수요가 폭발적으로 늘고 있어요. Onyx는 이 흐름의 한가운데에 서 있는 프로젝트예요.

---

핵심 기술 분석: Onyx는 어떻게 동작할까

LLM 애그노스틱 아키텍처

Onyx의 가장 큰 특징은 LLM 애그노스틱(LLM-agnostic) 설계예요. "애그노스틱"이라는 말이 좀 어려울 수 있는데, 쉽게 말해서 "어떤 AI 모델이든 가리지 않고 다 쓸 수 있다"는 뜻이에요. 마치 만능 리모컨처럼, 삼성 TV든 LG TV든 소니 TV든 하나의 리모컨으로 다 조작할 수 있는 것과 비슷해요.

구체적으로 보면:

• 자체 호스팅 모델: Ollama, LiteLLM, vLLM 같은 로컬에서 돌리는 오픈소스 모델
• 상용 서비스: OpenAI(GPT), Anthropic(Claude), Google(Gemini) 같은 클라우드 API

이 모든 걸 하나의 인터페이스에서 전환하면서 쓸 수 있어요. 이게 왜 중요하냐면, 실무에서는 용도에 따라 다른 모델을 쓰는 게 합리적인 경우가 많거든요. 간단한 질문에는 가벼운 모델을, 복잡한 분석에는 고성능 모델을 쓰는 식이죠. Onyx를 쓰면 이런 전략을 하나의 플랫폼 안에서 자유롭게 구현할 수 있어요.

Agentic RAG: AI가 진짜 똑똑해지는 비결

Onyx의 핵심 기능 중 하나가 Agentic RAG인데요. RAG가 뭔지부터 설명해볼게요.

RAG(Retrieval-Augmented Generation)는 이름이 거창하지만 원리는 간단해요. AI한테 질문하기 전에, 먼저 관련 자료를 찾아서 "이거 참고해서 답변해줘"라고 같이 넘겨주는 방식이에요. 시험볼 때 오픈북이랑 비슷한 개념이죠. AI가 자기 머릿속 지식만으로 답하는 게 아니라, 실제 문서를 참고해서 답하니까 훨씬 정확하고 최신 정보를 반영할 수 있어요.

Onyx는 여기서 한 발 더 나아가 "Agentic" RAG를 구현했어요. 일반 RAG가 단순히 검색해서 찾아주는 거라면, Agentic RAG는 AI 에이전트가 스스로 판단해서 여러 단계에 걸쳐 정보를 찾고 조합하는 방식이에요.

비유하자면 이런 거예요:

• 일반 RAG: 도서관에서 사서에게 "경제 관련 책 좀 찾아주세요"라고 하면, 키워드 매칭으로 경제 섹션 책을 가져다주는 것
• Agentic RAG: 사서가 "어떤 경제 주제요? 아, 한국 부동산 시장이요? 그러면 이 통계 보고서랑 최근 정책 자료, 그리고 해외 비교 논문까지 같이 봐야 해요"라고 스스로 판단해서 종합적으로 자료를 모아주는 것

Onyx는 이를 위해 하이브리드 인덱스 방식을 사용해요. 키워드 기반 검색(전통적인 방식)과 벡터 검색(의미 기반)을 결합한 거예요. 키워드 검색은 정확한 단어 매칭에 강하고, 벡터 검색은 맥락과 의미를 파악하는 데 강하거든요. 둘을 합치면 검색 품질이 확 올라가요.

50개 이상의 커넥터: 데이터를 한곳에

AI가 아무리 똑똑해도 데이터에 접근할 수 없으면 무용지물이잖아요. Onyx는 50개 이상의 인덱싱 기반 커넥터를 기본 제공해요. 이게 뭐냐면, 회사에서 쓰는 다양한 서비스의 데이터를 Onyx로 끌어올 수 있는 연결 통로라고 보면 돼요.

Slack 메시지, Notion 문서, Google Drive 파일, Confluence 위키, Jira 티켓, GitHub 코드 저장소… 이런 것들을 전부 연결하면, AI가 이 모든 데이터를 참고해서 답변할 수 있게 되는 거예요. 예를 들어 "지난달 마케팅 캠페인 결과가 어땠어?"라고 물으면, Slack에 공유된 보고서, Notion에 정리된 데이터, Google Sheets의 수치를 종합해서 답해줄 수 있는 거죠.

여기에 더해 MCP(Model Context Protocol) 연동도 지원해요. MCP는 최근 AI 업계에서 뜨거운 표준 프로토콜인데, 이게 뭐냐면 AI가 외부 도구나 서비스와 소통하는 방식을 표준화한 거예요. USB 포트처럼, 규격만 맞으면 어떤 기기든 꽂아서 쓸 수 있는 것과 같은 원리예요.

Deep Research: AI가 직접 리서치를 해준다

Onyx의 Deep Research 기능은 꽤 인상적인데요. 단순히 한 번 검색해서 답하는 게 아니라, 여러 단계에 걸쳐 조사하고, 분석하고, 보고서까지 작성해주는 기능이에요.

작동 방식을 간단히 설명하면:
1. 사용자가 질문을 던져요
2. AI가 질문을 분석해서 어떤 정보가 필요한지 계획을 세워요
3. 여러 소스에서 정보를 수집해요
4. 수집한 정보를 종합하고 분석해요
5. 체계적인 보고서 형태로 결과물을 만들어요

2026년 2월 기준으로 관련 리더보드 상위권에 올랐다고 밝히고 있는데, 이는 단일 질의-응답을 넘어서 복합적인 리서치 태스크를 자동화하는 방향으로 AI가 진화하고 있다는 걸 보여줘요.

그 외 주목할 기능들

• Custom Agents: 특정 업무에 맞는 AI 에이전트를 직접 만들 수 있어요. 고객 응대용, 코드 리뷰용, 문서 작성용 등 각각 다른 지시사항과 지식을 부여할 수 있죠.
• Web Search: 웹 검색을 통해 실시간 정보를 가져올 수 있어요. Serper, Brave, SearXNG 등 다양한 검색 엔진을 지원해요.
• Code Execution: 샌드박스 환경에서 코드를 실행할 수 있어요. 데이터 분석이나 그래프 생성 같은 작업을 AI가 직접 코드를 돌려서 처리해줘요.
• Voice Mode: 음성으로 대화할 수 있는 TTS/STT 기능도 있어요.
• Artifacts: 문서, 그래픽, 파일 등을 생성해서 다운로드할 수 있어요.

---

업계 맥락과 경쟁 기술 비교

비슷한 프로젝트들과 뭐가 다를까?

Onyx와 비슷한 포지션에 있는 오픈소스 프로젝트들이 몇 가지 있어요. 각각의 차이점을 살펴볼게요.

1. Open WebUI

Open WebUI는 주로 LLM 채팅 인터페이스에 집중하는 프로젝트예요. Ollama 같은 로컬 모델을 예쁜 웹 UI로 쓸 수 있게 해주는 게 핵심이에요. 카페로 비유하면, Open WebUI는 "커피를 맛있게 내려주는 바리스타"에 가까워요. 반면 Onyx는 "카페 전체를 운영하는 시스템"에 가까워요. 채팅만이 아니라 데이터 연결, 에이전트 구축, 리서치 자동화까지 포괄하거든요.

2. Langflow / Flowise

Langflow나 Flowise는 노코드/로우코드 방식으로 AI 워크플로우를 만드는 도구예요. 블록을 드래그앤드롭으로 연결해서 AI 파이프라인을 구축하는 방식이죠. 이 도구들은 개발자가 프로토타입을 빠르게 만드는 데 좋지만, 엔드유저(비개발자)가 바로 사용할 수 있는 완성된 앱 형태는 아니에요. Onyx는 즉시 사용 가능한 완성형 앱을 제공하면서도 커스터마이징이 가능한 중간 지점을 잡았어요.

3. Dify

Dify는 Onyx와 가장 비슷한 포지션에 있는 경쟁자예요. AI 앱을 쉽게 만들 수 있는 플랫폼이라는 점에서 겹치는 부분이 많아요. 하지만 차이점도 뚜렷해요:

| 비교 항목 | Onyx | Dify |
|----------|------|------|
| 핵심 강점 | RAG + 사내 데이터 통합 | 앱 빌더 + 워크플로우 |
| 커넥터 수 | 50개 이상 기본 제공 | 상대적으로 적음 |
| Deep Research | 내장 지원 | 별도 구성 필요 |
| 배포 방식 | 단일 커맨드 설치 | Docker Compose |
| 타겟 사용자 | 조직 전체 (비개발자 포함) | 주로 개발자/빌더 |

Onyx가 특히 강한 영역은 사내 데이터 통합이에요. 50개 이상의 커넥터를 기본으로 제공하면서 RAG 품질에 집중하는 건, "우리 회사 데이터를 AI가 잘 활용하게 하고 싶다"는 니즈를 정확히 겨냥한 전략이에요.

엔터프라이즈 AI 시장의 흐름

2025년 하반기부터 AI 업계에서 가장 뜨거운 키워드 중 하나가 "AI 에이전트"와 "엔터프라이즈 RAG"예요. 단순히 챗봇으로 질문-답변하는 걸 넘어서, AI가 실제로 업무를 수행하고 조직의 지식을 활용하는 방향으로 가고 있죠.

대기업들은 이미 수억 원을 들여 자체 AI 시스템을 구축하고 있지만, 중소기업이나 스타트업은 그럴 여력이 없잖아요. Onyx 같은 오픈소스 플랫폼은 이 격차를 좁혀주는 역할을 해요. "대기업만 누릴 수 있던 AI 인프라를 오픈소스로 민주화한다"는 가치 제안이 Onyx의 핵심 포지셔닝이에요.

특히 단일 커맨드 배포(curl -fsSL https://onyx.app/install_onyx.sh | bash)를 강조하는 건, 기술적 진입 장벽을 낮추겠다는 의지를 보여주는 부분이에요. Docker나 쿠버네티스에 익숙하지 않은 팀도 쉽게 시작할 수 있게 한 거죠.

---

한국 개발자에게 주는 시사점

시나리오 1: 사내 AI 어시스턴트 구축

가장 현실적인 활용 사례예요. 한국 기업들, 특히 IT 기업에서 "사내 AI 도입"이 화두잖아요. Onyx를 쓰면 이렇게 할 수 있어요:

1. 회사 서버에 Onyx를 설치해요 (온프레미스라 데이터 유출 걱정 없음)
2. Confluence, Notion, Slack 등 사내 도구를 커넥터로 연결해요
3. 팀별로 Custom Agent를 만들어요 (개발팀용, 마케팅팀용, HR팀용 등)
4. 신입사원이 "우리 회사 배포 프로세스가 어떻게 돼?"라고 물으면, AI가 사내 위키와 Slack 대화를 참고해서 정확한 답변을 해줘요

이렇게 하면 기존에 시니어 개발자가 반복적으로 설명해야 했던 것들을 AI가 대신 해주니까, 온보딩 시간을 크게 줄일 수 있어요.

시나리오 2: 고객 지원 자동화

SaaS 서비스를 운영하는 스타트업이라면, Onyx로 고객 지원 AI를 만들 수 있어요. 제품 문서, FAQ, 과거 지원 티켓을 연결하면, 고객 질문의 상당 부분을 AI가 자동으로 처리할 수 있죠. 한국어 지원도 LLM이 처리하니까, 한국어 고객 대응도 가능해요.

시나리오 3: 개인 프로젝트나 학습용

꼭 회사 규모가 아니더라도, 개인 개발자로서 다양한 LLM을 실험해보고 싶을 때 Onyx가 유용해요. Ollama로 로컬 모델을 돌리면서 동시에 Claude API도 연결하고, RAG도 붙여보고… 이런 실험을 하나의 플랫폼에서 할 수 있으니까 학습 효율이 좋아요.

도입 시 고려할 점

물론 장밋빛만 있는 건 아니에요. 몇 가지 현실적으로 따져봐야 할 것들이 있어요:

• 서버 리소스: RAG를 제대로 돌리려면 벡터 데이터베이스, 임베딩 모델 등이 필요해서 어느 정도 서버 사양이 요구돼요. 소규모라면 클라우드 인스턴스 하나로 시작할 수 있지만, 대규모 문서를 인덱싱하려면 메모리와 스토리지를 넉넉히 잡아야 해요.
• 데이터 보안: 오픈소스라 직접 호스팅할 수 있다는 건 장점이지만, 반대로 보안 설정도 직접 해야 한다는 뜻이에요. 특히 한국 기업들은 개인정보보호법 때문에 데이터 처리에 민감하잖아요. 어떤 데이터를 AI에 연결할지 신중하게 결정해야 해요.
• 유지보수 부담: 오픈소스 프로젝트는 업데이트가 빠른 만큼, 따라가는 것도 일이에요. 7,255개의 커밋이 말해주듯 개발이 매우 활발한데, 이건 장점이면서 동시에 "자주 업데이트해야 한다"는 의미이기도 해요.
• 한국어 RAG 품질: RAG의 핵심인 검색 품질은 언어에 따라 차이가 날 수 있어요. 영어 중심으로 개발된 프로젝트이다 보니, 한국어 문서의 토크나이징이나 임베딩 품질을 직접 테스트해보는 게 좋아요. 한국어에 강한 임베딩 모델(예: multilingual-e5 등)을 별도로 설정해야 할 수도 있어요.

학습 로드맵 제안

Onyx를 제대로 활용하고 싶다면, 이런 순서로 공부하면 좋아요:

1. Docker 기초: Onyx는 Docker 기반으로 배포되니까, Docker Compose 정도는 알아두면 좋아요
2. RAG 개념 이해: 임베딩, 벡터 데이터베이스, 청킹(문서를 적당한 크기로 나누는 것) 등의 개념을 파악하세요
3. LLM API 기초: OpenAI API든 Anthropic API든, 하나쯤은 직접 호출해본 경험이 있으면 Onyx 설정이 훨씬 수월해요
4. Onyx 설치 및 실습: 로컬에서 설치해보고, 간단한 문서 몇 개 연결해서 RAG를 직접 체험해보세요
5. 커스텀 에이전트 만들기: 기본 사용에 익숙해지면, 특정 업무에 맞는 에이전트를 설계해보세요

---

앞으로의 전망과 토론

AI 플랫폼의 미래

Onyx 같은 프로젝트가 보여주는 큰 그림은, AI가 단독 도구에서 통합 플랫폼으로 진화하고 있다는 거예요. 예전에는 "AI 챗봇"이 끝이었다면, 이제는 검색, 분석, 코드 실행, 문서 생성, 웹 브라우징, 음성 대화까지 하나의 플랫폼에서 제공하는 시대가 온 거죠.

특히 MCP 지원은 주목할 만해요. MCP가 업계 표준으로 자리잡으면, AI 플랫폼의 확장성이 기하급수적으로 늘어날 수 있거든요. 지금은 50개 커넥터를 직접 만들어야 하지만, MCP 생태계가 성숙하면 수백, 수천 개의 서비스와 자동으로 연동될 수 있어요.

또 하나 흥미로운 점은 데스크톱 앱과 크롬 확장 프로그램도 개발하고 있다는 거예요(프로젝트 디렉토리에 desktop과 extensions/chrome 폴더가 있어요). 이건 웹 앱을 넘어서 사용자의 일상적인 워크플로우에 더 깊이 스며들겠다는 전략이에요.

오픈소스 AI의 가치

개인적으로 가장 의미 있다고 생각하는 건, 이런 수준의 AI 플랫폼이 오픈소스로 공개되어 있다는 거예요. 몇 년 전만 해도 이 정도 기능을 갖춘 플랫폼은 엔터프라이즈 상용 솔루션에서나 볼 수 있었거든요. 이제는 누구나 설치하고, 코드를 들여다보고, 자기 입맛에 맞게 수정할 수 있어요.

한국에서도 AI 스타트업들이 많이 생기고 있는데, Onyx의 코드베이스를 분석하는 것만으로도 "프로덕션 레벨의 AI 플랫폼이 어떻게 설계되는지"를 배울 수 있어요. 백엔드 구조, RAG 파이프라인 설계, 에이전트 아키텍처 등을 실제 코드로 공부할 수 있다는 건 정말 큰 학습 자원이에요.

토론해봐요

여러분의 생각이 궁금해요:

• 회사에서 AI 플랫폼을 도입한다면, 상용 서비스(예: Microsoft Copilot, Google Workspace AI)를 쓸 건가요, 아니면 Onyx 같은 오픈소스를 직접 구축할 건가요? 각각의 트레이드오프가 뭘까요?
• 한국어 RAG의 현실적인 품질은 어느 정도일까요? 직접 구축해본 경험이 있다면 공유해주세요.
• AI 에이전트가 실제로 업무를 바꾸고 있나요? 아직 장난감 수준인지, 정말 생산성에 도움이 되는지, 현장의 목소리가 궁금해요.

기술은 빠르게 변하고 있고, Onyx 같은 프로젝트는 그 변화를 직접 만들어가고 있어요. 지금 당장 도입하지 않더라도, 이런 흐름을 파악해두는 것 자체가 개발자로서 중요한 경쟁력이 될 거예요.

---

🔗 출처: GitHub