애플이 공개한 학습 기반 이미지 코덱 'PICO', 실용성에 집중하다

이미지 압축이라고 하면 흔히 JPEG, PNG, WebP, AVIF 같은 이름이 먼저 떠오르실 거예요. 모두 사람이 손으로 설계한 알고리즘이죠. 그런데 최근 몇 년 사이 'Learned Image Compression(학습 기반 이미지 압축)'이라는 흐름이 떠올랐어요. 신경망이 이미지를 어떻게 압축할지 스스로 배운다는 거예요. 그리고 이번에 애플 머신러닝 리서치팀이 PICO(Perceptual Image Codec)라는 새 코덱과, 실제 서비스에 쓸 만하게 만들려면 뭐가 중요한지 정리한 논문을 함께 공개했습니다.

학습 기반 압축이 뭔지부터

기존 JPEG는 DCT(이산 코사인 변환)라는 수학적 변환으로 이미지를 주파수 성분으로 쪼개고, 사람 눈에 덜 중요한 고주파를 버리는 방식이에요. 사람의 시각 특성을 사람이 분석해서 알고리즘에 박아 넣은 거죠. 학습 기반 압축은 다른 길을 갑니다. 신경망에게 수많은 이미지를 보여주면서 '최대한 작게 압축하되 사람 눈에 원본과 비슷해 보이게 복원하라'고 학습시키는 거예요. 결과적으로 신경망은 자기만의 잠재 표현(latent representation)을 만들어내고, 이게 일종의 압축 코드 역할을 합니다. 인코더가 이미지를 짧은 벡터로 줄이고, 디코더가 그걸 다시 원본 크기의 이미지로 키워내는 구조죠.

PICO가 강조한 '실용성'

지금까지 학계 논문들은 주로 PSNR이나 MS-SSIM 같은 수치 기반 화질 지표에서 JPEG/AVIF를 이기는 데 집중해왔어요. 그런데 애플은 다른 질문을 던졌습니다. '사람 눈이 진짜 더 좋다고 느끼는가? 그리고 실제 기기에서 돌릴 수 있을 만큼 가벼운가?' 라는 거죠. 그래서 PICO는 LPIPS, DISTS, FID 같은 인지적(perceptual) 지표로 평가하고, 동시에 디코딩 속도와 모델 크기를 함께 측정합니다. 핵심 아이디어 중 하나는 학습 과정에 적대적 손실(adversarial loss)을 적절히 섞어서, 사람 눈에 자연스럽게 보이는 디테일을 살리는 거예요. 너무 강하게 쓰면 가짜 디테일이 생기니까 균형이 중요한데, 논문은 이 트레이드오프를 꽤 자세히 분석합니다.

다른 진영과 비교하면

비슷한 방향의 연구로는 구글의 HiFiC, 텐센트의 ELIC, 그리고 JPEG AI 표준화 작업이 있어요. HiFiC은 GAN 기반으로 화려한 디테일을 살리는 쪽으로 유명하고, JPEG AI는 학습 기반 코덱을 국제 표준으로 만들려는 흐름이죠. PICO는 그중에서 '온디바이스에서 돌릴 수 있는, 가볍고 빠른 인지 기반 코덱'이라는 자리를 노립니다. 애플이 이런 방향을 강조하는 건 충분히 이해가 되는 게, 사진 앱이나 메시지 앱처럼 아이폰 안에서 직접 압축·복원해야 하는 시나리오가 많기 때문이에요. 클라우드로 보내서 처리할 수 없는 프라이버시 민감한 영역이기도 하고요.

한국 개발자에게는

당장 PICO를 프로덕션에 넣는 건 어렵겠지만, 시사하는 바는 큽니다. 첫째, 화질을 평가할 때 PSNR만 보지 말고 LPIPS나 사용자 평가 같은 인지 지표를 함께 쓰는 흐름이 점점 표준이 될 거예요. 둘째, 모바일 환경에서 이미지를 다루는 서비스(커머스, SNS, 사진 편집 앱 등)라면 학습 기반 코덱이 머지않아 옵션으로 들어올 가능성이 있어요. 셋째, 코드와 모델이 공개되어 있으니 사이드 프로젝트로 자신의 데이터셋에 PICO를 미세조정해보는 것도 좋은 학습 경험이 됩니다. 의료 영상이나 위성 이미지처럼 도메인 특성이 강한 영역에서는 특히 유용할 수 있어요.

마무리

이미지 압축이라는, 다 끝났다고 여겨졌던 분야가 학습 기반으로 다시 들썩이고 있어요. 여러분의 서비스에서 가장 큰 비용을 차지하는 이미지가 있다면, 학습 기반 코덱을 검토해볼 시점이 곧 올지도 모릅니다. AVIF조차 도입이 더딘 한국 환경에서 이 흐름이 어떻게 받아들여질지, 같이 지켜보면 좋겠어요.