Python/MySQL 기반 AI 결빙 예측 데이터 파이프라인 엔지니어 전문가

프로젝트 소개:
- 자사 프로젝트의 웹 크롤링 및 스크래핑 업무를 수행하며, AI 기반 도로 결빙 예측 솔루션의 데이터 파이프라인 전반을 설계하고 구현하는 프로젝트입니다.
- 공공 API 및 센서 데이터를 수집하고 정제하여 AI/ML 엔지니어가 활용할 수 있는 형태의 학습용 데이터셋으로 구조화합니다.

전체 시스템 구성:
- 개발 언어 및 프레임워크: Python, FastAPI
- 데이터베이스 및 저장소: MySQL, TimescaleDB, InfluxDB, S3
- 수집 및 데이터 처리: Scrapy, Playwright, Selenium, Pandas, NumPy
- 파이프라인 및 스케줄링: Airflow, Prefect, Cron

전체 프로젝트 일정:
- 2개월



모집 인원:
- 경력 3년~5년 1명 (월 350만 원)

상세 업무:
- 자사 다양한 프로젝트에서 발생하는 웹 크롤링·스크래핑 업무
- 이후 'AI 기반 도로 결빙 예측 솔루션'의 데이터 파이프라인 전반 설계·구현
- 기상청·국토부·도로공사·ITS 등 공공 API, PCI/교통사고 DB 등 다종 데이터 소스 수집기 개발 및 운영
- 노면온도, 대기온도, 습도, 이슬점, 수막, 결빙률, 마찰계수 등 시계열 센서 데이터의 수신·저장·정제 파이프라인 구축
- 결측치 처리, 리샘플링, 이상치 필터링, 시간 동기화 등 데이터 품질 관리 로직 설계 및 구현
- 수집 현황·결측·지연·이상치 등을 모니터링할 수 있는 데이터 품질 대시보드 / 알림 구성
- AI/ML 엔지니어가 바로 학습에 활용 가능한 형태로 학습용 데이터셋 정제·라벨 동기화·피처 테이블 제공
- 결빙 발생 패턴, 변수 상관관계 등 EDA 및 KPI 산출 자동화 리포트 작성 (모델 가중치 검증, 운영 지표 자동 집계)
- 백엔드·AI 엔지니어와 협업하여 수집된 데이터가 서비스/모델에 안정적으로 흘러가도록 구조화

필수 기술:
- Python / MySQL / Pandas / Scrapy / Playwright (또는 Selenium) / RESTful API

자격 요건:
- 데이터 엔지니어 또는 데이터 기반 백엔드 개발 경력 3년 이상을 보유하신 분
- Python 기반 데이터 수집, 전처리 및 파이프라인 개발 실무 경험이 있으신 분
- 웹 크롤링/스크래핑 도구 중 하나 이상 실무 활용 경험이 있으신 분
- 외부 OpenAPI 연동 및 대용량 관계형 DB(MySQL 등) 설계, 운영 경험이 있으신 분
- Pandas/NumPy를 활용한 데이터 정제 및 스케줄러(Airflow 등) 활용 작업 자동화 경험이 있으신 분
- 장기 운영을 전제로 한 안정적 파이프라인 구축 경험과 원활한 협업 능력을 갖추신 분

우대 사항:
※ 아래 항목 중 일부 경험만 있어도 지원 가능합니다.
- 시계열 데이터베이스(TimescaleDB, InfluxDB 등) 설계·운영 경험
- IoT/센서 데이터 수신 경험 (MQTT, TCP/Serial, UMB 등 산업용 프로토콜)
- 1분 이하 고빈도 수집·저장 파이프라인 운영 경험
- 데이터 품질 모니터링(SLA, 결측률, 지연, 이상치) 지표 설계 및 알림 시스템 구축 경험
- AWS / NCP(네이버 클라우드) 등 클라우드 환경에서 데이터 인프라 운영 경험
- 기상청, 국토부, 도로공사, 공공데이터포털 등 국내 공공 API 활용 경험
- AI/ML 학습용 데이터셋 구축, 라벨 동기화, 피처 스토어 운영 경험
- BI/대시보드 도구(Metabase, Superset, Grafana 등) 활용한 운영 지표·KPI 자동 리포트 경험
- 데이터 카탈로그·스키마 관리·버전 관리(Great Expectations, dbt 등) 경험
- 토목·교통·도로·기상 등 물리/현장 도메인 데이터를 다뤄본 경험
- 다국어/다지역 데이터 수집 또는 글로벌 서비스 데이터 대응 경험
- 스타트업 또는 초기 단계 프로젝트에서 데이터 파이프라인을 처음부터 잡아본 경험

기타 사항:
- 클라이언트 요청으로 재등록된 공고입니다.
- 예전 프로젝트 : https://www.wishket.com/project/157602/