Hacker News 2026.05.18 89

GenCAD: 이미지 한 장으로 3D CAD 모델을 자동 생성하는 AI

무슨 일이 있었나요?

혹시 3D 모델링 해본 적 있으세요? 제품 디자이너나 기계공학 엔지니어들이 쓰는 CAD(Computer-Aided Design, 컴퓨터 보조 설계) 프로그램 말이에요. SolidWorks, Fusion 360, AutoCAD 같은 도구들인데요. 한 번이라도 만져봤다면 알겠지만, 진입 장벽이 정말 높아요. 단순히 마우스로 그림 그리듯 그리는 게 아니라, 스케치를 그리고 거기에 "이만큼 위로 밀어올려", "이 구멍을 뚫어", "이 모서리를 둥글게 깎아" 같은 명령을 순서대로 쌓아가야 하거든요. 이걸 업계에서는 "피처 기반 모델링"이라고 부르는데, 익숙해지는 데만 몇 달이 걸려요.

그런데 최근 발표된 GenCAD라는 프로젝트가 이걸 완전히 뒤집는 시도를 하고 있어요. 단순히 "이런 부품 만들어줘" 같은 텍스트나 사진 한 장만 주면, AI가 알아서 CAD 명령어 시퀀스를 생성해서 편집 가능한 3D 모델을 뽑아주는 거예요. 그냥 STL 같은 메시 파일이 아니라, CAD 소프트웨어에서 다시 열어서 수정할 수 있는 진짜 파라메트릭 모델을 만든다는 게 핵심 포인트입니다.

어떻게 동작하는 걸까요?

GenCAD의 아키텍처를 풀어서 설명해볼게요. 이 모델은 크게 세 부분으로 나뉘어요. 먼저 이미지 인코더가 입력으로 들어온 부품 사진을 잠재 공간(latent space)이라는 일종의 "의미 좌표"로 변환해요. 사진의 모양, 곡률, 비율 같은 시각적 특징을 숫자 벡터로 압축하는 단계라고 보면 돼요. 그 다음 CAD 시퀀스 인코더-디코더가 이 잠재 벡터를 받아서 "스케치 → 돌출 → 회전 → 펀치" 같은 명령어 시퀀스로 풀어냅니다. 마치 자연어 번역 모델이 영어 문장을 한국어 문장으로 바꾸듯, "이미지"라는 언어를 "CAD 명령어"라는 언어로 번역하는 셈이에요.

여기서 재밌는 건 트랜스포머 기반의 자기회귀(autoregressive) 구조를 쓴다는 점이에요. GPT가 토큰을 하나씩 예측해가며 문장을 만들듯, GenCAD도 CAD 명령을 한 단계씩 예측해가며 모델을 "써내려가요". 그래서 결과물이 단순한 3D 점들의 집합이 아니라, 사람이 손으로 모델링한 것처럼 편집 히스토리가 살아있는 파일이 나오는 거예요. 부품의 두께를 바꾸고 싶으면 해당 스텝의 파라미터만 수정하면 되는 거죠.

학습 데이터로는 DeepCAD라는 기존 데이터셋(약 17만 8천 개의 CAD 모델)을 사용했고, 여기에 렌더링된 이미지-CAD 시퀀스 쌍을 만들어서 멀티모달 학습을 했어요. 결과적으로 한 장의 사진만으로도 꽤 정확한 기계 부품 모델을 복원할 수 있게 되었습니다.

비슷한 시도들과 비교해보면

사실 "AI로 3D 모델 만들기"는 요즘 핫한 분야예요. NVIDIA의 Get3D, OpenAI의 Shap-E, 그리고 Tripo, Meshy 같은 상용 서비스들이 텍스트나 이미지로 3D 메시를 생성하고 있죠. 하지만 이런 도구들의 한계가 명확해요. 결과물이 메시(mesh) 형태라서, 게임이나 시각화에는 쓸 수 있지만 실제 제조업에서는 거의 못 써요. 왜냐면 공장에서 부품을 깎으려면 "이 면은 정확히 5mm 두께", "이 구멍 지름은 10mm" 같은 치수 정보가 살아있어야 하거든요. 메시는 그냥 삼각형 덩어리라서 그런 의미 정보가 없어요.

GenCAD가 흥미로운 이유가 바로 여기에 있어요. 제조업에 실제로 쓸 수 있는 형태로 출력한다는 점이에요. 비슷한 방향의 연구로는 Autodesk의 Fusion 360 Gallery 데이터셋 기반 연구들, 그리고 MIT에서 나온 Point2Cyl 같은 작업이 있는데, GenCAD는 이미지 → CAD 시퀀스라는 가장 실용적인 흐름을 잘 다듬어 놓은 느낌이에요.

한국 개발자에게 어떤 의미일까요?

한국은 제조업 강국이잖아요. 자동차, 반도체 장비, 가전, 조선 같은 산업에서 CAD 데이터가 어마어마하게 쌓여 있어요. 그런데 이걸 AI로 활용하려는 시도는 아직 초기 단계예요. 만약 GenCAD 같은 접근이 더 발전하면, 신입 엔지니어가 손으로 모델링하던 단순 반복 부품을 사진 한 장으로 초안 생성하고, 그 위에서 수정만 하는 워크플로우가 가능해질 거예요. 일종의 "제조업판 코파일럿" 인 셈이죠.

특히 스타트업이나 1인 개발자/메이커 입장에서도 의미가 커요. 3D 프린터로 뭔가 만들고 싶을 때, 비싼 CAD 소프트웨어와 그 학습 시간이 진입 장벽이었는데, 이런 도구가 성숙해지면 "내가 원하는 부품 사진 찍어서 → AI가 모델 생성 → 약간 수정 → 출력" 같은 흐름이 가능해질 수 있어요. 코드는 GitHub에 공개되어 있으니, 머신러닝과 기하학에 관심 있는 분이라면 한번 돌려보시는 것도 좋을 것 같아요.