지식 · IT·데이터·DX
데이터 파이프라인 · ETL
Data Pipeline / ETL
📂IT·데이터·DX⏱읽기 1분📊실무🔗관련 4
데이터 파이프라인이란?
한 줄 정의
여러 곳의 데이터를 모으고(Extract)·정제·변환하고(Transform)·저장소에 싣는(Load) 자동 흐름. 데이터가 분석되기까지의 배관.
⚡ 3줄 요약
- 데이터를 모으고·정제·저장(ETL)
- 분석되기까지의 '배관'
- 자동 흐름 구축
데이터 파이프라인은 흩어진 원천(앱·DB·외부 서비스)의 데이터를 자동으로 끌어와, 형식을 맞추고 정제한 뒤, 분석용 저장소(데이터 웨어하우스 등)에 적재하는 일련의 흐름입니다. 이 과정을 흔히 ETL(추출-변환-적재)이라 부릅니다. 정수장이 원수를 마실 물로 만들듯, 원본 데이터를 '분석 가능한 상태'로 가공합니다.
데이터가 지저분하거나 흩어져 있으면 분석·AI 모두 부실해집니다('쓰레기가 들어가면 쓰레기가 나온다'). 파이프라인은 이 전처리를 자동화·표준화해 신뢰할 수 있는 데이터를 지속 공급합니다. BI·AI·CDP의 보이지 않는 토대입니다.
💡 쉽게 말하면
정수장처럼 — 원수(원본)를 모아 걸러서 깨끗한 물(분석용 데이터)로 만들어 보냅니다.
실무에서 왜 중요한가
분석·AI의 성패는 '데이터 품질'에서 갈립니다. 파이프라인이 깨끗한 데이터를 안정적으로 공급합니다.
유래와 출처
데이터 웨어하우징과 함께 발전한 ETL(추출-변환-적재) 개념에서 출발해, 클라우드·실시간 처리와 함께 현대적 데이터 파이프라인으로 확장됐습니다.
사례로 이해하기
예를 들어, 분석용 데이터 파이프라인을 만든다고 해봅시다.
- 추출(E) — 여러 시스템에서 데이터를 끌어옵니다.
- 변환(T) — 형식을 맞추고 오류·중복을 정제합니다.
- 적재(L) — 분석용 저장소에 싣습니다.
- 자동화 — 이 과정을 정기적으로 자동 실행합니다.
- 공급 — BI·AI가 깨끗한 데이터를 바로 쓰게 합니다.
관련 용어
빅데이터기존 방식으로 다루기 어려울 만큼 크고(양), 빠르고(속도), 다양한(형태) 데이터. 그 자체보다 '분석해 가치를 뽑는 것'이 핵심.데이터 웨어하우스 · 레이크데이터 웨어하우스는 분석용으로 잘 정리한 '창고', 데이터 레이크는 온갖 원본 데이터를 그대로 담아 두는 '호수'.BI · 비즈니스 인텔리전스데이터를 대시보드·리포트로 시각화해, 경영진·실무자가 데이터에 근거해 의사결정하게 돕는 도구·활동.CDP · 고객 데이터 플랫폼여러 채널에 흩어진 고객 데이터를 실명 기반으로 하나로 통합해, 지속적인 고객 프로필을 만드는 마케팅 데이터 플랫폼.
이 용어와 연결된 교육
📚4차 산업혁명과 빅데이터나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
ETL은 대표적 방식이고, 데이터 파이프라인은 그 흐름 전체를 가리키는 더 넓은 말입니다.
데이터가 지저분하면 분석·AI 결과도 부실합니다('쓰레기 입력=쓰레기 출력').
ETL(추출·변환·적재)은 파이프라인의 대표 형태입니다. 파이프라인은 그 전체 흐름을 뜻합니다.
'쓰레기가 들어가면 쓰레기가 나온다'—지저분한 데이터로는 분석·AI가 제 성능을 못 냅니다.