피그마가 디자인 편집 작업에 특화된 자체 모델을 학습시킨 과정을 공개했다. 핵심 메시지는 분명하다. 범용 프런티어 모델에 의존하는 대신, 좁게 정의한 과제에 맞춰 후속 학습(post-training)을 진행하면 최상위 모델과 겨룰 만한 성능을 더 빠르고 저렴하게 확보할 수 있다는 것이다. 피그마는 이 접근을 캔버스 위에서 디자이너를 돕는 에이전트로 제품화했고, 그 안에 자사가 직접 만든 첫 편집 모델을 탑재했다.
왜 편집이라는 좁은 문제부터 시작했나
디자이너의 하루 업무는 거창한 창작보다 작고 반복적인 편집으로 채워진다. 간격을 조정하고, 색을 바꾸고, 피드백을 받은 뒤 레이아웃을 다시 손보는 식이다. 이런 변경은 앞선 결정 위에 쌓이며, 정답이 하나로 떨어지지 않는 '검증 불가능한' 성격을 띤다. 피그마가 에이전트의 출발점으로 이 영역을 고른 이유다. 게다가 편집은 하루에도 수없이 일어나므로 속도가 중요하다. 반응이 느린 편집은 돕기는커녕 작업 흐름 자체를 끊어버린다는 점을 피그마는 설계 전제로 삼았다.
문제는 작업을 시작할 당시 프런티어 모델이 피그마의 파일 구문을 이해하지 못했다는 데 있었다. 이를 억지로 맞추려면 방대한 시스템 프롬프트가 필요했고, 토큰 소모가 지나치게 컸다. 그래서 피그마는 지도 미세조정(SFT)에 투자하는 쪽을 택했다. 학습 예제는 시작 시점의 디자인, 합성으로 생성한 편집 요청, 그리고 그 변경을 성공적으로 수행한 결과를 한 쌍으로 묶었다. 디자인을 피그마의 네이티브 파일 포맷으로 표현했기 때문에, 모델이 내놓은 변경을 그대로 캔버스에 되돌려 적용할 수 있었다. 디자인 시스템 자산이 필요한 경우에는 테마와 컴포넌트 변경을 다루는 합성 프롬프트를 따로 만들었다.
SFT의 한계와 강화학습으로의 전환
생성 파이프라인은 더 큰 교사(teacher) 모델이 편집을 시도하게 한 뒤, 결정론적 검증기와 시각 판정 모델로 후보를 걸러냈다. 유효한 출력인지, 요청을 충족했는지를 점검했고, 평가자 피드백을 받아 편집을 스스로 수정하는 자가 치유가 가능했다. 이 방식만으로도 꽤 멀리 갔다. 25만 개가 넘는 예제로 학습시킨 초기 라마(Llama) 3.3 70B 모델이 당시 최상위 모델들과 편집 과제에서 경쟁할 수준에 이르렀다는 것이 피그마의 설명이다.
그러나 SFT 단독으로는 벽에 부딪혔다. 모방 학습은 모델이 학습에서 본 것과 매우 비슷한 결과를 내도록 가르치지만, 그 대가로 일반화 능력이 떨어진다. 샘플 효율도 낮아, 과제의 여러 측면을 두루 담은 방대한 예제가 필요했다. 이에 피그마는 베이스 모델을 최신 Qwen 계열, Muse Spark Open, Inkling 등으로 옮겨가는 한편, 최신 학습 레시피에 강화학습(RL)을 포함시켰다. 디자인 영역에 맞는 RL 환경을 다듬고, 예제의 다양성을 끌어올리며, 보상 모델을 조정하고, 디자이너가 실제로 중시하는 바를 반영하도록 전문가가 작성한 기준을 확장하는 데 초점을 맞추고 있다.
품질을 쪼개서 측정한다
디자인 품질은 주관적이지만, 그렇다고 측정 불가능한 덩어리로 다룰 필요는 없다는 것이 피그마의 관점이다. 정렬은 좋은데 대비가 나쁠 수 있고, 겉보기엔 깔끔해도 요청을 빗나간 편집일 수 있으며, 버튼이 멀쩡해 보여도 잘못된 컴포넌트를 쓸 수 있다. 피그마는 이런 차원을 분리해 평가한다. 디자인 구조에 대한 점검과 시각 판정을 결합하고, 전문 디자이너가 결과를 보정하고 검토하게 해 모델이 어디서 잘하고 무엇을 더 배워야 하는지를 가려낸다. 모델을 피그마 안에서 얼마나 잘 쓰는지뿐 아니라 그 작업의 속도와 비용까지 내부 평가의 기준으로 삼는다는 점도 눈여겨볼 대목이다.
실제 제품에서 에이전트는 자사 모델과 외부 선도 모델을 섞어 쓴다. 이미지 생성, 벡터, 완전히 새로운 디자인 탐색처럼 창의적 폭이 필요한 작업에는 가용한 최고의 외부 모델을 쓰고, 자사 모델이 잘 처리하는 정밀한 편집과 반복 작업에는 자체 모델을 투입한다. 모델만으로 되는 일은 아니다. 에이전트는 캔버스와 디자인 시스템에서 맥락을 받아야 하고, 요청한 변경을 실제로 수행할 도구가 뒷받침돼야 한다. 후속 학습은 그 전체 구성에서 모델이 맡은 몫을 더 잘하게 만드는 한 조각이다.
피그마가 공개한 초기 수치는 이 전략의 설득력을 더한다. 베타에서 정식 출시 사이에만 전형적 작업이 약 20% 빨라졌고, 전문 디자이너와의 맞대결에서 새 에이전트가 이전 프로덕션 에이전트를 이기거나 비기는 비율이 62%에 달했다. 사용자 평점은 33% 높아졌고, 에이전트의 작업을 되돌리는(undo) 빈도는 60% 줄었다. 자사 후속 학습 모델이 처리하는 작업 비중은 두 배 이상으로 늘었고, 메시지당 평균 비용은 낮아졌다. 다만 이 수치들은 모델, 도구, 하네스 전반의 개선이 함께 만든 결과이며, 편집 모델은 그중 한 부분이라는 점을 피그마 스스로 분명히 하고 있다. 국내 실무자 입장에서 의미 있는 시사점은, 검증이 어려운 주관적 도메인이라도 품질을 여러 축으로 분해해 측정하면 좁은 과제에 한해 특화 모델이 범용 모델의 대안이 될 수 있다는 실증이다.