Azure Databricks 기반 전사 데이터 플랫폼 아키텍처 설계 및 구축 전문가

프로젝트 소개
- Azure Databricks 기반 데이터 플랫폼의 아키텍처를 설계하고 구축하며, 전사 데이터 파이프라인의 표준화와 운영 안정성을 책임지는 포지션입니다.
- 데이터 거버넌스부터 CI/CD 배포까지 데이터 플랫폼 전 영역을 아우르는 기술 아키텍트 역할입니다.

전체 시스템 구성
- Azure Databricks, ADLS, ADF, Spark, Delta Lake, Unity Catalog

전체 프로젝트 일정
- 2026년 10월 ~ 2027년 3월

모집 인원
- 경력 8~10년 차 1명 (월 1,000만 원)

근무 형태
- 상주 근무 (경기 성남시 분당구)

상세 업무
- Azure Databricks 기반 데이터 플랫폼 아키텍처 설계 및 구축
- 확장 가능하고 재사용 가능한 데이터 파이프라인 템플릿 설계 및 제공
- 플랫폼 표준 수립 및 기술 가이드라인 정립
- Unity Catalog 기반 데이터 카탈로그 구조 설계 및 메타데이터 관리 체계 수립
- 역할 기반 접근 제어(RBAC) 등 데이터 접근 권한 체계 설계
- 데이터 보안 및 컴플라이언스 요건을 반영한 권한 구조 구축
- 수집부터 저장, 처리, 폐기까지 전체 데이터 라이프사이클 관리 프로세스 정립
- 데이터 보존 정책 및 아카이빙 전략 수립
- 파이프라인 실행 상태, 성능, 오류에 대한 모니터링 체계 구축 및 장애 대응 프로세스 설계
- 데이터 파이프라인 CI/CD 파이프라인 구축 및 자동화, 배포 프로세스 표준화

필수 기술
- Azure Databricks, Azure 데이터 서비스(ADLS, ADF 등), Unity Catalog, Spark, Delta Lake, CI/CD

자격 요건
- Azure Databricks 및 Azure 데이터 서비스(ADLS, ADF 등) 실무 경험이 있으신 분
- Unity Catalog 및 데이터 거버넌스 체계 설계 경험이 있으신 분
- Spark, Delta Lake 기반 데이터 파이프라인 설계 및 개발 경험이 있으신 분
- CI/CD 도구(Azure DevOps, GitHub Actions 등) 활용 경험이 있으신 분
- 데이터 보안 및 접근 권한 관리 경험이 있으신 분

우대 사항
- Databricks 자격증(Databricks Certified Data Engineer 등)을 보유하신 분
- 대규모 데이터 플랫폼 마이그레이션 또는 구축 경험이 있으신 분
- Terraform 등 IaC(Infrastructure as Code) 활용 경험이 있으신 분