Linux/AWS 기반 대용량 데이터 처리 데이터 엔지니어 전문가

프로젝트 소개:
- 대용량 데이터 파일을 수신하여 AWS S3 및 데이터베이스에 안정적으로 적재하고 배치 운영 및 장애 재처리 등 데이터 처리 전반을 수행하는 프로젝트입니다.

프로젝트 진행 상황:
- 데이터 엔지니어 프리랜서 투입을 위한 모집을 진행하고 있으며 세부 프로젝트 진행 현황 및 업무 환경은 미팅 시 안내해 드립니다.

전체 시스템 구성:
- Linux, Shell Script, AWS S3, MySQL 계열 RDBMS, SQL, CSV 등 정형 데이터, Batch Processing

전체 프로젝트 일정:
- 3개월

모집 인원:
- 경력 11년 차 이상 1명 (월 급여 협의)

근무 형태:
- 상주 근무 (경기 수원시 영통구)

상세 업무:
- 대용량 데이터 파일 수신 및 적재 프로세스 운영
- AWS S3 등 클라우드 스토리지 기반 데이터 연계 및 후속 처리
- Shell Script를 활용한 데이터 수집, 다운로드 및 처리 자동화
- CSV 등 정형 데이터 파싱 및 정합성 검증
- MySQL 계열 데이터베이스 대상 대용량 데이터 적재
- Full Load 및 Incremental Load 방식의 데이터 적재 프로세스 개발 및 운영
- 데이터 배치 스케줄링 및 선후행 프로세스 관리
- 데이터 처리 결과 및 오류에 대한 로그 및 이력 관리
- 장애 발생 시 데이터 재처리 및 배치 재실행
- 대용량 데이터 처리 성능 개선 및 SQL 튜닝

필수 기술:
- Linux, Shell Script, MySQL, SQL, Batch Processing

자격 요건:
- 데이터 엔지니어링 또는 데이터 처리 관련 실무 경력을 9년 이상 보유하신 분
- Linux 환경에서 Shell Script 작성 및 운영 경험이 있으신 분
- 대용량 데이터 적재 및 배치 프로세스 개발 경험이 있으신 분
- MySQL 등 RDBMS 활용 및 SQL 작성 역량을 갖추신 분
- 정형 데이터 Parsing 및 Validation 경험이 있으신 분
- Full 및 Incremental 방식의 데이터 적재 구조에 대한 이해도를 갖추신 분
- 데이터 처리 장애 분석 및 재처리 경험이 있으신 분

우대 사항:
- AWS 환경에서의 데이터 처리 및 S3, RDS 활용 경험이 있으신 분
- 대용량 데이터 Migration 또는 ETL, ELT 프로젝트 경험이 있으신 분
- Batch Job 선후행 및 의존성 관리 경험이 있으신 분
- 데이터 적재 성능 개선 및 SQL 튜닝 경험이 있으신 분
- 데이터 처리 로그 및 모니터링 체계 구축 경험이 있으신 분
- 장애 복구 및 재처리를 고려한 데이터 파이프라인 설계 경험이 있으신 분