Woordenlijst
Wat is ETL / ELT?
ETL (extract, transform, load) en ELT (extract, load, transform) zijn twee manieren om data uit bronsystemen naar een datawarehouse te brengen. Bij ETL bewerk je de data vóór het laden, bij ELT laad je eerst en transformeer je daarna in het warehouse zelf.
ETL / ELT uitgelegd
Bij ETL worden gegevens onderweg bewerkt, in een aparte tool, voordat ze in het warehouse komen. Dat was lang de norm, omdat opslag en rekenkracht in het warehouse duur waren. Bij ELT laad je de ruwe gegevens eerst, en schrijf je de transformaties daarna als SQL in het warehouse zelf, vaak met een tool als dbt.
ELT heeft het voordeel dat de ruwe brondata bewaard blijft. Klopt een berekening niet, dan pas je de transformatie aan en reken je opnieuw, zonder alles opnieuw uit de bron te halen. Het laden zelf, het "EL"-deel, wordt vaak gedaan met standaardconnectors, bijvoorbeeld met Airbyte of Fivetran.
Welke variant je kiest, is minder belangrijk dan dat het proces betrouwbaar draait. Let op foutmeldingen bij een mislukte lading, op wijzigingen in de bron en op het moment waarop gebruikers de nieuwe cijfers verwachten.
Voorbeeld
Acme Groothandel laadt elke nacht de orders en facturen uit zijn ERP onbewerkt in het datawarehouse. Daarna rekent een SQL-transformatie de netto-omzet uit en koppelt die aan de klant- en productdimensies, zodat de dashboards 's ochtends klaarstaan.
ETL / ELT in ENABLE
Het laden van data gebeurt buiten het ENABLE-portaal, bijvoorbeeld met Airbyte, door Data Analytics. ENABLE gebruikt daarna het resultaat in het PostgreSQL-datawarehouse; er zitten geen kant-en-klare connectors naar systemen zoals Exact Online of AFAS in het portaal.
FAQ
Veelgestelde vragen
Wat is het verschil tussen ETL en ELT?
Bij ETL transformeer je data voordat je hem in het warehouse laadt, bij ELT laad je eerst en transformeer je daarna in het warehouse zelf. ELT is in moderne cloud-warehouses gangbaar geworden.
Welke tools gebruik je voor ETL of ELT?
Voor het laden zijn tools als Airbyte, Fivetran en Azure Data Factory gangbaar. Voor transformaties in het warehouse wordt vaak dbt of gewone SQL gebruikt.
Hoe vaak moet je data laden?
Dat hangt af van hoe actueel de cijfers moeten zijn. Voor de meeste managementrapportage is één keer per nacht genoeg; voor operationele dashboards kan vaker nodig zijn.
Verder lezen
- OplossingData integratie: databronnen koppelen voor inzichtDatabronnen koppelen voor rapportage en AI, via één centraal datawarehouse.Lees meer
- KennisbankWat is een datawarehouse? Uitleg en vergelijkingEen datawarehouse is een centrale database waarin je gegevens uit verschillende bronsystemen, zoals je ERP, CRM en webshop, samenbrengt, opschoont en zo inricht dat je er goed op kunt rapporteren en analyseren. Een bronsysteem is gemaakt om transacties te verwerken; een datawarehouse is gemaakt om te lezen, te vergelijken en historie te bewaren. Een data lake bewaart ruwe data in elk formaat, en een data lakehouse combineert de opslag van een lake met de structuur van een warehouse.Lees meer
- OplossingData platform laten bouwen: lagen, keuzes en aanpakVan bronnen tot dashboards en AI: zo is een data platform opgebouwd.Lees meer
- IntegratiesIntegraties: boekhouding, CRM, marketing en meerIntegraties van ENABLE: boekhouding, ERP, CRM, marketing, webshops, HR en databases. Power BI en PostgreSQL rechtstreeks, de rest via je eigen datawarehouse.Lees meer
AI gebruiken op je eigen data. Veilig, en zonder hoofdpijn.
In een online demo laten we zien hoe ENABLE je data veilig beschikbaar maakt en hoe je erop bouwt: een app beschrijven in de AI Builder, vragen in gewone taal, dashboards en API's. En hoe wij het voor je inrichten en beheren.