Data Pipeline
Vad är en Data Pipeline?
En data pipeline är en automatiserad kedja av steg som flyttar, transformerar och laddar data från en eller flera källor till ett mål – exempelvis ett data lakehouse, ett datalager eller en AI-plattform. Pipelinen säkerställer att data anländer i rätt format, i rätt tid och med rätt kvalitet.
Typiska steg i en data pipeline
- Extraktion: Hämta data från källor som databaser, API:er, filer eller strömmar.
- Transformation: Rensa, standardisera och berika data.
- Laddning: Skriv data till målsystemet.
I Microsoft Fabric och Azure Data Factory byggs pipelines visuellt eller som kod. Databricks erbjuder liknande funktionalitet via Delta Live Tables.