핵심 요구사항
- 데이터 분석/ML 및 분산처리 프레임워크 사용 경험
- Databricks, Snowflake 등 DW 모델링 경험
- Python 프로그래밍 및 관련 라이브러리 능숙
- AWS 기반 데이터 파이프라인 구축(Lambda, Athena, Airflow, Glue, SageMaker)
- 컨테이너 기반 개발 환경 이해 및 CI/CD 등 DevOps 경험
CJ제일제당의 데이터 분석 플랫폼을 개발하고 운영하는 데이터 엔지니어 프로젝트입니다. 데이터 분석/머신러닝 모델을 위한 데이터 파이프라인과 API를 구축하고, Databricks·Snowflake 기반 DW 모델링과 AWS 클라우드 데이터 파이프라인(Lambda, Athena, Airflow, Glue, SageMaker)을 최적화 관리합니다. 분산처리와 DW 모델링 경험이 있고 Python에 능숙한 고급 데이터 엔지니어에게 적합합니다.