음원에서 보컬만, 혹은 드럼과 베이스만 골라내는 스템 분리 기술은 최근 몇 년 사이 뮤지션과 프로듀서에게 익숙한 도구가 됐다. Moises, LALAL.AI 같은 상용 클라우드 서비스가 대표적인데, 이들은 파일을 서버로 올려 처리한 뒤 결과를 돌려주는 방식이라 계정 가입과 처리량 제한, 구독료가 따라붙는다. StemDeck은 이 구조를 정반대로 뒤집은 오픈소스 프로젝트다. 계정도, 업로드도, 구독도 없이 사용자의 PC에서 모든 처리를 끝낸다. MP3·WAV·FLAC·OGG/Opus·MP4·M4A 파일을 임포트 바에 끌어다 놓거나 유튜브 URL을 붙여넣으면 보컬·드럼·베이스·기타·피아노·기타(other)의 최대 6개 스템으로 분리해 준다.
분리 엔진은 메타 AI가 공개한 Demucs의 htdemucs_6s 모델이다. 실행 시 최적의 연산 장치를 자동으로 감지해 NVIDIA에서는 CUDA, 애플 실리콘에서는 MPS를 쓰고, 둘 다 없으면 CPU로 넘어간다. 여기에 선택 사항으로 리드 보컬과 백킹 보컬을 나누는 기능이 별도로 제공되는데, 이는 Ultimate Vocal Remover 프로젝트에서 나온 UVR-MDX-NET Karaoke 2 모델을 audio-separator로 돌리는 방식이다. 즉 StemDeck 자체가 새로운 분리 알고리즘을 내놓은 것이 아니라, 이미 검증된 오픈소스 모델들을 로컬에서 편하게 쓸 수 있도록 묶어낸 통합 도구에 가깝다.
단순 변환기가 아니라 DAW형 작업 환경
StemDeck이 단순 스크립트와 구분되는 지점은 분리 이후의 작업 흐름이다. 결과물을 DAW를 닮은 멀티트랙 믹서에서 재생하면서 각 스템을 뮤트·솔로 처리하고 볼륨 페이더로 밸런스를 맞출 수 있고, 파형은 min/max 샘플 렌더링으로 그려져 확대·축소와 구간 반복(loop)이 가능하다. 스템별로 Web Audio 분석기를 통한 실시간 VU 미터가 붙어 피크 홀드와 느린 감쇠까지 표시한다. 스템 칩을 눌러 원하는 트랙만 골라 추출할 수도 있는데, 일부만 선택하면 7번째 레인에 '선택한 스템을 뺀 나머지 전체'가 자동으로 생성돼 A/B 비교용 배경 트랙으로 쓰기 좋다. 최종적으로 선택한 스템만 FFmpeg의 amix로 합친 mix.wav를 내려받는 것도 지원한다.
분석 기능도 실무에서 유용하다. librosa 기반 비트 트래커로 BPM을 추정하고, Albrecht-Shanahan 프로파일로 키와 스케일을 신뢰도와 함께 산출하며, BS.1770 기준의 통합 LUFS와 dBFS 샘플 피크까지 측정한다. 작업 중인 잡을 즉시 취소하면 실행 중이던 서브프로세스가 종료되고 부분 결과 디렉터리가 삭제되는 등, 파이프라인 제어도 비교적 세심하게 다듬어져 있다.
기술 구성과 설치 방식
내부적으로는 Python 3.12를 uv로 관리하고, FastAPI 백엔드가 REST와 서버-전송 이벤트(SSE)를 제공한다. 유튜브 오디오는 yt-dlp로 받아오고 트랜스코딩과 믹싱은 FFmpeg가 맡는다. 데스크톱 셸은 Tauri v2로, macOS에서는 WKWebView, 윈도우에서는 WebView2를 Rust가 감싼다. 프런트엔드는 프레임워크도 빌드 단계도 없는 바닐라 JS이며 파형은 캔버스에 직접 그린다. 배포는 각 GitHub 릴리스에 설치 파일이 첨부되는 형태다. macOS는 DMG를 열어 앱을 옮긴 뒤 첫 실행 때 약 500MB의 파이썬 런타임과 FFmpeg, 약 170MB의 Demucs 모델을 내려받고, 이후 실행은 설정 과정을 건너뛴다. 윈도우 버전은 압축을 풀어 실행하되 데이터가 AppData가 아니라 실행 파일 옆 data 폴더에 저장돼 폴더째 옮겨도 동작하는 점이 특징이다. Docker와 GHCR 이미지, Unraid Community Applications 배포도 준비돼 있어 홈서버에 올려두기에도 무리가 없다.
한계와 책임의 소재
제작자 스스로 상용 제품과 경쟁할 의도가 없다고 못 박은 점은 도구를 고를 때 참고할 만하다. 속도와 품질, 모바일 접근성, 더 깊은 뮤지션용 기능이 필요하다면 상용 서비스가 값을 하며, StemDeck은 개인 학습·연구 용도로 오디오를 외부에 보내지 않고 로컬에서 무료로 처리하려는 경우에 적합하다고 정리한다. 실제로 macOS는 첫 실행 시 게이트키퍼 경고가 뜨고, 유튜브 다운로드 품질을 위해 deno 같은 JS 런타임이 권장되며, 첫 분리는 모델 다운로드 탓에 느린 등 로컬 도구 특유의 마찰도 존재한다. 잡 상태는 메모리에 저장돼 서버를 재시작하면 목록이 초기화되지만 파일 자체는 디스크에 남는다.
라이선스와 저작권 문제는 사용자가 온전히 책임져야 하는 부분이다. StemDeck은 다운로드 서비스가 아니며 어떤 오디오도 저장·캐시·재배포하지 않는다고 명시하지만, yt-dlp를 통한 유튜브 다운로드는 유튜브 약관에 저촉될 수 있다. 자신이 처리할 권리가 있는 음원인지, 각 사이트의 약관과 저작권을 지키는지, 그리고 yt-dlp·Demucs·FFmpeg·PyTorch 등 의존 도구들의 라이선스를 따르는지는 모두 이용자의 몫으로 남는다. 결국 StemDeck의 가치는 프라이버시를 지키면서 무료로 스템을 뽑고 싶은 실무자에게 검증된 오픈소스 모델을 손쉽게 안겨준다는 데 있고, 그 편의를 어떤 소재에 쓸지는 사용자가 스스로 판단해야 한다.