소프트웨어에서 '데이터 파이프라인(Data Pipeline)'이란 무엇인가요?

해설

데이터 파이프라인은 원시 데이터를 수집(Extract), 정제/변환(Transform), 목적지에 저장(Load)하는 ETL 또는 ELT 과정을 자동화합니다. Apache Airflow, dbt, AWS Glue 등이 사용되며, 로그 분석, 추천 시스템, 보고서 생성 등에 핵심적입니다.