OpenAI가 8월 25일 자체 AI 가속기 칩 '할라페뇨(Jalapeño)'를 공개했다. 이 칩은 4비트 연산 기준 최대 13.4페타플롭스의 성능을 내고, 232기가바이트의 최신 HBM4 메모리에 초당 15.4테라바이트의 대역폭으로 접근한다. OpenAI가 제시한 벤치마크에 따르면 할라페뇨는 프롬프트 입력부터 마지막 토큰 출력까지의 종단 지연시간을 현재 사용 중인 엔비디아 GB300 대비 최대 3.6배 줄이면서도 전력은 더 적게 소비한다. 물론 이 수치가 실제 추론 서비스 환경에 대규모로 투입됐을 때도 그대로 재현될지는 아직 지켜봐야 할 문제다.
그런데 이번 발표에서 성능만큼, 혹은 그 이상으로 주목할 지점은 칩이 '어떻게' 설계됐는가다. 할라페뇨는 최초 아키텍처 구상에서 첫 실리콘까지 20개월이 채 걸리지 않았고, 칩의 논리를 정의하는 RTL 코드 작성부터 제조에 넘기는 테이프아웃까지는 단 9개월이 소요됐다. 하드웨어 담당 부사장 리처드 호는 "모델이 엔지니어에게 초능력을 주고 있다"면서도 "엔지니어가 여전히 작업을 주도하고 최종 판단을 내린다. 다만 훨씬 빠르게, 훨씬 많은 경로를 탐색할 수 있게 됐다"고 설명했다. 이 프로젝트에 투입된 인원은 평균 100명 미만이었고, 여기에는 협력사 브로드컴 인력은 포함되지 않는다.
LLM이 칩 설계에 잘 맞는 이유
칩 설계 자동화 자체는 새로운 것이 아니다. 메릴랜드대의 안쿠르 스리바스타바 교수는 "자동화는 수십 년간 존재해왔다"면서도, LLM이 기존 도구와 다른 점은 언어와 코드를 이해하는 능력이라고 짚는다. 즉 칩 설계 과정에서 여전히 '언어의 영역'에 남아 있는 작업에 LLM이 특히 잘 들어맞는다는 것이다. OpenAI는 이 강점을 살리는 워크플로를 설계했다. 프런트엔드는 구글에서 개발된 오픈소스 고수준 합성 도구 XLS를 중심으로 짰다. 엔지니어가 러스트에서 영감을 받은 DSLX나 C++ 같은 익숙한 언어로 설계하면, XLS가 이를 하드웨어 기술 언어인 베릴로그로 변환한다.
OpenAI 기술스태프 크리스 리어리는 "AI를 활용해 프로젝트를 빠르게 하는 방법을 고민했는데, AI는 소프트웨어처럼 보이는 것을 훨씬 잘 다뤘다"며 "XLS는 어떤 면에서 소프트웨어처럼 보이기 때문에 그 이점을 얻었다"고 말했다. 리어리 본인이 구글 시절 XLS를 시작한 장본인이라 도구의 작동 방식에 정통했던 점도 유리하게 작용했다. 소프트웨어 최적화에서도 같은 논리가 통했다. 5월에 첫 칩이 파운드리에서 돌아왔을 때 내부 AI 모델로 벤치마크 구동 소프트웨어를 설계했는데, 딥시크의 다중 헤드 잠재 어텐션 커널 벤치마크에서 이론적 최대치 대비 성능이 약 40시간 만에 0.31%에서 88.94%까지 올랐다. 호는 이 결과가 재현 가능하다고 밝혔다.
협력 구조와 아직 남은 한계
다만 이 속도를 온전히 LLM의 공으로만 돌리기는 어렵다. OpenAI는 추론 가속기, 메모리 계층, 네트워킹을 포함한 종단 시스템 설계를 맡았고, 게이트 이하의 물리적 설계와 백엔드는 브로드컴이 담당했다. 에이전트 기반 칩 설계 스타트업 버코어의 공동창업자 데이비드 친은 "그들이 제시한 일정은 상당히 신빙성이 있다"면서도 브로드컴의 도움이 필수적이었고, "다른 곳이 맨땅에서 시작했다면 불가능했을 것"이라고 지적했다. UC샌디에이고의 앤드루 캉 교수 역시 이 속도를 "오늘날 최고 수준"이라고 평가했다.
흥미로운 점은 프로젝트 진행 중 모델 자체가 세대교체됐다는 것이다. 시작 시점에는 o3 계열의 도움을 받았지만, 마무리 무렵에는 9월 3일에야 공개된 GPT-6 아스트라의 전신 모델을 사용할 수 있었다. 리어리에 따르면 이 신형 모델은 XLS의 변환 과정 없이 베릴로그를 직접 다룰 수 있고, 독점 설계 도구를 스스로 조작하는 수준에도 근접해 있다. 호는 칩 설계용으로 파인튜닝된 비공개 내부 모델도 사용했다고 확인하면서 "아스트라와 이후 모델들은 칩 설계에 매우 능숙할 것"이라고 말했다.
그럼에도 OpenAI는 칩 설계가 완전히 자동화될 수 있다고 보지는 않는다는 점을 분명히 했다. 호는 "누구나 코덱스만으로 최첨단 AI 가속기 칩을 만들 수 있다는 얘기가 아니다"라며, 소규모 팀과 빠른 일정으로 품질 있는 결과에 도달하는 구체적 방법에 초점을 맞춘 것이라고 선을 그었다. 백엔드 설계는 여전히 보수적이라는 평가도 나온다. 버코어의 라비 크리슈나는 프로젝트가 2024년 10월에 시작된 시점 탓이라며, 2026년 4월 이후 모델들이 백엔드 작업을 훨씬 잘 처리하기 시작했다고 본다.
한국의 반도체·AI 실무자 입장에서 이 사례가 주는 시사점은 분명하다. LLM은 아직 물리적 구현 전반을 대체하지 못하지만, 설계가 '코드처럼 보이는' 프런트엔드 영역, 그리고 실리콘이 돌아온 뒤의 소프트웨어 최적화와 벤치마크 구동 단계에서 반복 실험의 비용을 극적으로 낮춘다. 도구 선택도 결정적이었다. 고수준 합성처럼 소프트웨어에 가까운 추상화 계층을 택했기에 모델의 강점이 살아났다는 점은, AI를 설계 파이프라인에 붙이려는 조직이 어디를 먼저 공략해야 하는지를 시사한다. 호와 리어리는 2세대 칩에서 검증과 물리적 설계에 AI를 더 깊이 투입하고, 실패와 연관된 클록 신호를 자동으로 분석하는 파형 조작 도구도 활용할 계획이라고 밝혔다. 현재의 워크플로조차 곧 구식으로 보일 수 있다는 것이다.