AWS/Airflow/Spark 기반 시청 통계 데이터 배치 개발 전문가

AWS/Airflow/Spark 기반 시청 통계 데이터 배치 개발

프로젝트 소개:
고객사 시청자 통계 데이터를 기반으로 IGAW 및 통신 3사 요청 규격에 맞는 통계 데이터를 생성·재처리하고, 외부기관 전송을 위한 배치 및 데이터 처리 모듈을 개발하는 프로젝트입니다.
기존 Airflow 기반 배치 운영과 함께 신규 통계 처리, 데이터 재처리, 검증 및 모니터링 업무를 수행합니다.

프로젝트 진행 상황:
기존 Airflow 기반 통계 배치 및 AWS EMR/Spark 환경이 운영 중이며, 기존 통계 로직을 기반으로 신규 통계 재처리 및 전송 모듈 개발이 필요한 상황입니다.
일부 기존 배치에 대한 운영·모니터링 업무도 병행합니다.

전체 시스템 구성:
- 개발언어: Python
- Workflow/Batch: Apache Airflow
- 데이터 처리: Apache Spark / PySpark
- Cloud: AWS
- AWS Service: S3, EMR
- 데이터 포맷: Parquet
- 기타: SQL 기반 원천데이터 조회 및 검증

전체 프로젝트 일정:
- 프로젝트 착수 후 신규 배치 및 전송 모듈 개발, 테스트, 데이터 검증 및 운영지원을 순차적으로 진행합니다.
※ 세부 일정은 투입 시 협의 예정

모집 인원:
- 경력 9년 이상 1명 (월 600만 원)

상세 업무:
- WarnerTV 오매핑 데이터에 대한 일/주/월 통계 12종 재처리 DAG 개발
- S3 → Airflow → ITF → IGAW 데이터 전송 모듈 및 DAG 개발
- AWS EMR 데이터 처리 결과와 기존 처리 데이터 간 비교·검증 모듈 개발
- EMR/Spark 테스트 비용 절감을 위한 로컬 테스트 코드 개발
- 신규 통계 집계 파일럿 개발
- 기존 Airflow DAG 배치 모니터링 및 Fail 발생 시 재처리
- Airflow Backfill 및 Parquet 데이터 생성 검증
- 병렬/직렬 Task 구성 및 처리 시뮬레이션
- AWS EMR On-Demand/Spot 구성 및 테스트
- 통계 소급처리 및 생성 데이터 검증
- S3 적재 Parquet 데이터와 원천데이터 간 비교 검증
- 데이터 모델링 및 Partition/Shard 구성 지원
- 통신사 샘플 데이터 기반 통계 생성 및 전송 결과 수정 대응

필수 기술:
- Python
- Apache Airflow
- Apache Spark / PySpark
- AWS EMR
- AWS S3
- SQL
- Parquet

자격 요건:
- Python 기반 데이터 처리 및 배치 개발 경험
- Airflow DAG 신규 개발 및 운영 경험
- Airflow Backfill, Manual Trigger, Task Dependency 구성 경험
- Spark/PySpark 기반 대용량 데이터 처리 경험
- AWS EMR 및 S3 환경 개발·운영 경험
- SQL을 활용한 원천데이터 및 집계 결과 검증 경험
- 배치 장애 원인 분석 및 재처리 경험

우대 사항:
- AWS EMR On-Demand/Spot 구성 및 비용 최적화 경험
- 대용량 통계 데이터 재처리 또는 소급처리 경험
- 외부기관/타 시스템 데이터 인터페이스 개발 경험
- Parquet 기반 대용량 데이터 처리 경험
- 데이터 모델링 및 Partition/Shard 구조 설계 경험
- 통신·미디어·시청률 등 대규모 통계 데이터 처리 프로젝트 경험
- 기존 Legacy 코드 분석 및 개선 경험