2022년 8월은 이미지 생성 AI 역사에서 꽤 상징적인 달이에요. Stable Diffusion의 모델 가중치가 공개되면서, 누구나 자기 그래픽카드로 이미지를 만들어볼 수 있게 됐거든요. 그 무렵 DALL·E 2와 Midjourney도 막 대중에게 알려지던 참이었고요. 원문은 그때부터 지금까지 이미지 생성이 얼마나 멀리 왔는지 되짚어보는 글이에요. 오늘은 그 흐름을 기술적인 관점에서 조금 더 깊게 풀어볼게요. 몇 년 사이 좋아진 건 결과물만이 아니에요. 밑바닥 구조 자체가 몇 번이나 바뀌었어요.
2022년의 이미지 생성은 어땠냐면
그때 결과물을 떠올리면 웃음부터 나와요. 사람 손을 그리면 손가락이 여섯 개, 일곱 개씩 붙어 나왔어요. 간판에 글자를 넣어달라고 하면 외계어 같은 기호가 찍혔고요. 프롬프트에 “빨간 공 위에 파란 큐브”라고 써도 색이 뒤섞이거나 위치가 바뀌는 일이 흔했어요. 그래서 원하는 그림을 얻으려면 “masterpiece, best quality, 8k” 같은 주문을 잔뜩 붙이고, 수십 장을 뽑아서 그중 하나를 고르는 ‘가챠’가 일상이었죠. 프롬프트 엔지니어라는 직업 이야기가 나온 것도 이 시기예요.
기술은 어떻게 바뀌어 왔냐면
1단계: 잠재 확산 모델(Latent Diffusion) 확산 모델은 쉽게 말해 노이즈를 조금씩 걷어내면서 그림을 만들어가는 방식이에요. 뿌연 유리창을 조금씩 닦아서 바깥 풍경을 드러내는 느낌이에요. Stable Diffusion은 이 작업을 고해상도 픽셀에서 하지 않고 압축된 ‘잠재 공간’에서 했어요. 덕분에 일반 소비자용 GPU에서도 돌아갈 수 있었죠. 이 구조의 중심에는 U-Net이라는 이미지용 신경망이 있었어요.
2단계: 트랜스포머로의 전환(DiT) 그 뒤로는 U-Net 대신 GPT 계열과 같은 트랜스포머를 쓰는 Diffusion Transformer 구조가 주류가 됐어요. Stable Diffusion 3나 2024년 8월에 나온 Flux가 대표적이에요. 트랜스포머는 모델을 키울수록 성능이 예측 가능하게 좋아지는 성질이 있어요. 그래서 “크게 만들면 더 잘 그린다”는 공식이 이미지에도 통하기 시작했죠. 학습 방식도 바뀌었어요. 노이즈를 걷어내는 경로를 더 곧게 펴주는 플로우 매칭(flow matching) 같은 기법이 쓰이면서, 더 적은 단계로도 좋은 이미지를 뽑을 수 있게 됐어요.
3단계: 언어 모델과의 결합 가장 크게 체감되는 변화는 프롬프트를 알아듣는 능력이에요. DALL·E 3는 사용자의 짧은 요청을 언어 모델이 자세한 설명으로 다시 써주는 방식으로 이해도를 크게 끌어올렸어요. 2025년에 나온 GPT-4o 이미지 생성처럼, 언어 모델이 직접 이미지까지 만드는 네이티브 멀티모달 방식도 등장했고요. 그러다 보니 “이 사진에서 배경만 바꿔줘”, “방금 그 캐릭터를 다른 포즈로 그려줘” 같은 대화형 편집이 자연스러워졌어요. 글자를 그리는 실력도 몰라보게 좋아졌어요. 구글의 Gemini 이미지 모델도 같은 방향으로 편집 능력을 크게 키웠고요.
업계 맥락: 오픈 vs 클로즈드
크게 보면 두 진영이 경쟁하고 있어요. 한쪽은 OpenAI, 구글, Midjourney처럼 API나 서비스로만 제공하는 클로즈드 모델이에요. 다른 한쪽은 Stable Diffusion, Flux, 알리바바의 Qwen-Image처럼 가중치를 공개하는(open weights) 모델이에요. 클로즈드 모델은 품질이 좋고 쓰기 편해요. 오픈 모델은 내 서버에서 직접 돌릴 수 있고, LoRA 같은 기법으로 원하는 화풍이나 캐릭터를 학습시킬 수 있다는 게 강점이에요. LoRA는 거대한 모델 전체를 다시 학습하는 대신 작은 ‘덧붙임 레이어’만 학습해서 스타일을 입히는 기법이에요.
한국 개발자에게 주는 시사점
이제 이미지 생성은 신기한 데모가 아니라 API 하나로 붙일 수 있는 기능이 됐어요. 쇼핑몰 상품 이미지 배경 바꾸기, 블로그 썸네일 자동 생성, 게임 시안 작업처럼 실무에 바로 쓸 데가 많아요. 다만 몇 가지는 꼭 챙기세요.
- 한글 텍스트는 아직 확인이 필요해요. 영문 글자는 꽤 정확해졌지만 한글은 모델마다 편차가 커요. 중요한 문구는 이미지를 만든 다음 따로 합성하는 방식이 여전히 안전해요.
- 라이선스를 확인하세요. 오픈 모델이라도 상업적으로 써도 되는지는 모델마다 달라요. 서비스에 넣기 전에 라이선스 문서를 꼭 읽어보세요.
- 비용 구조를 계산해보세요. API는 장당 과금이라 트래픽이 늘면 비용도 빠르게 불어나요. 대량으로 생성해야 한다면 오픈 모델을 직접 서빙하는 쪽이 유리할 수 있어요.
마무리
4년 남짓한 사이에 이미지 생성 AI는 ‘운 좋으면 쓸 만한 그림’을 뽑는 도구에서 ‘말로 편집하는 디자인 도구’로 진화했어요. 그 변화를 이끈 건 확산 모델에서 트랜스포머로, 다시 언어 모델과의 결합으로 이어진 구조 변화였어요.
여러분은 이미지 생성 AI를 실무에 써보셨나요? 앞으로 몇 년 안에 이미지처럼 큰 도약을 할 다음 영역은 영상일까요, 3D일까요?
🔗 출처: Hacker News