이미지에서 피사체만 남기고 배경을 투명하게 만드는 배경 제거 기술은 전자상거래 상품 사진, 프로필 이미지, 영상 합성 등에서 이미 일상적인 작업이 됐다. 스타트업 Feyn이 공개한 FeyNoBg는 이 분야의 자동 배경 제거 모델로, 여덟 개 벤치마크 가운데 네 곳에서 가장 좋은 S-measure 점수를 기록했고 나머지 네 곳에서도 1위와 2% 이내 격차를 보였다고 밝혔다. 모델뿐 아니라 이 모델을 학습시키는 데 사용한 라이브러리 NoBg까지 함께 오픈소스로 내놓은 점이 특징이다. 모델은 Hugging Face에서, 라이브러리는 GitHub에서 받을 수 있다.
배경 제거가 요구하는 두 가지 능력
배경 제거의 목표는 각 픽셀에 불투명도 값을 매기는 것이다. 배경 픽셀은 투명하게, 피사체 픽셀은 불투명하게, 경계 픽셀은 반투명하게 만들어야 한다. 원문은 이 작업이 성격이 다른 두 가지 능력을 동시에 요구한다고 설명한다. 첫째는 전경과 배경을 구분하는 능력이다. 단색 배경 앞에 선 인물은 색만 비교해도 쉽게 분리되지만, 대비가 낮거나 피사체가 많거나 위장(camouflage)된 장면에서는 형태와 질감, 맥락을 함께 활용해야 한다. 둘째는 경계를 정밀하게 따내는 능력, 즉 이미지 매팅이다. 머리카락, 털, 가는 전선, 모션 블러처럼 전경과 배경이 뒤섞이는 부분에서는 경계 픽셀이 피사체에 얼마나 속하는지를 계산해 불투명도를 정해야 한다.
문제는 이 두 능력이 서로 다른 종류의 데이터로 학습된다는 점이다. 학습 데이터 배합이 한쪽으로 치우치면 한 능력이 좋아지는 대신 다른 능력이 나빠지는 불균형이 생긴다. 결과물이 피사체 일부를 놓치거나, 반대로 경계가 지저분해진다. 실제 이미지는 전경 인식과 경계 정밀도를 모두 요구하기 때문에, 두 능력의 균형을 잡는 것이 FeyNoBg 학습의 핵심 문제의식이었다고 Feyn은 밝힌다.
BiRefNet을 토대로 3단계를 키우다
FeyNoBg는 기존 모델 BiRefNet을 기반으로 삼았다. BiRefNet은 전경을 찾는 위치추정(localization) 모듈과 경계를 복원하는 재구성(reconstruction) 모듈에 상호 보완적인 역할을 나눠주는 구조여서, 앞서 말한 두 능력을 분리해 다루려는 목표와 이미 맞아떨어졌다. 입력 이미지는 4단계로 이뤄진 특징 추출기를 거치는데, 초반 단계는 국소적 디테일을, 후반 단계는 이를 종합한 넓은 표현을 담당한다. Feyn은 이 중 세 번째 단계가 피사체 전체를 판단할 만큼 넓게 보면서도 형태를 표현할 공간 정보를 유지하는, 가장 어려운 자리라고 판단했다.
이 통찰에 따라 세 번째 단계의 블록 수를 18개에서 24개로 늘렸다. 파라미터는 2억 2,200만 개에서 2억 6,300만 개로 완만하게 증가했다. 이때 호환되는 사전학습 가중치는 모두 보존하고 새로 추가한 여섯 개 블록만 초기 상태로 두었다. 기존 모델이 이미 익힌 것을 잊지 않으면서 새로운 능력을 배울 여유 용량만 확보하려는 설계다.
데이터 배합이 결과를 갈랐다
첫 학습은 정밀 전경 분할용 합성 데이터셋 MaskFactory만으로 진행했다. 예상대로 결과 모델은 CAMO 벤치마크에서는 개선됐지만 DIS5K에서는 후퇴했다. 한쪽으로 치우친 데이터가 불균형을 만든다는 가설이 확인된 셈이다. 이후 Feyn은 다양성에 집중해 붐비는 장면, 위장, 고해상도 피사체, 인물, 애니메이션 등 열 개 데이터셋에서 2만 6,100장을 모아 7,000스텝을 학습했다. 최종 배합에서는 S3OD 4,000장을 추가하고 애니메이션을 500장으로 줄였으며 ThinObject-5K, HIM-2K, COIFT를 제외했다.
데이터셋을 합치는 과정에서 두 가지 문제를 다뤄야 했다. 크기가 제각각이어서 큰 출처가 학습을 지배하지 않도록 각 출처를 4,000장으로 제한한 뒤 섞었고, 주석 형식도 통일했다. 분할 데이터셋은 전경 마스크를, 매팅 데이터셋은 알파 매트를 제공했는데 이를 모두 이진 전경 마스크로 변환해 학습 목표를 하나로 맞췄다. 즉 매팅 데이터는 부드러운 불투명도 감독이 아니라 정밀하게 윤곽이 잡힌 피사체 예시로 쓰였다는 점을 기억할 필요가 있다. 이 배합 덕분에 앞서 후퇴했던 DIS5K가 오히려 벤치마크 1위 결과로 뒤집혔다고 한다.
실무자에게 남는 의미와 한계
성능만큼 눈여겨볼 부분은 함께 공개된 NoBg 라이브러리다. 배경 제거 모델은 보통 개별 저장소로 배포돼, 모델을 비교하거나 파인튜닝하려면 어댑터부터 여러 개 짜야 하는 번거로움이 있었다. NoBg는 모델 실행과 학습에 일관된 인터페이스를 제공하며 pip install nobg로 설치한다. 이미지 리사이즈·정규화, 추론 후 원본 크기의 알파 매트 변환, 투명 PNG 저장까지 처리하고, 학습에는 모델·프로세서·손실 함수를 제공해 Hugging Face Trainer와 연동된다. Feyn은 NoBg판 BiRefNet을 배치 크기 1·2·4에서 원본 구현과 비교했을 때 처리량, 지연시간, 최대 GPU 메모리 모두에서 더 나았다고 밝혔다.
다만 평가 지표는 완전한 매팅 품질이 아니라 S-measure에 근거한다는 점을 감안해야 한다. S-measure는 예측 전경과 정답 마스크를 0~1로 비교해 완전한 피사체와 충실한 형태를 함께 보상하지만, 이진 마스크 기반 목표로 학습한 만큼 머리카락 같은 반투명 경계의 부드러운 표현을 직접 측정하지는 않는다. 벤치마크 절반에서 1위, 절반에서 2% 이내라는 수치도 회사가 자체 발표한 값이라는 한계가 있다. 그럼에도 검증된 BiRefNet 구조를 적당히 키우고, 데이터 배합만으로 능력 불균형을 조정한 뒤, 학습 파이프라인 전체를 오픈소스로 함께 낸 접근은 배경 제거 모델을 직접 파인튜닝하려는 국내 실무자에게 재현 가능한 출발점으로서 참고할 만하다.