1. Een Data Engineer bedenkt, modelleert, bouwt en onderhoudt de data-architectuur die nodig is voor een bepaald datavraagstuk.
De Data Engineer begint meestal met intake gesprekken met alle betrokken partijen en brengt zo inzicht in de databehoeften van de klant. Hij kijkt door de bril van de klant, hij vraagt door en denkt mee.
Met zijn expertise adviseert de Data Engineer de klant in het maken van de nodige technische en architecturale keuzes. Vanuit een referentie architectuur werkt hij een data platform uit dat beantwoordt aan de noden van de business case. Dit vereist maatwerk.

2. Hij brengt verschillende gestructureerde en/of niet-gestructureerde databronnen bij elkaar en maakt ze op het gewenste moment beschikbaar. De verwerking kan in batch of realtime.
Een voorbeeld van het beschikbaar maken van data is het opvragen van je saldo op je bankrekening. Wanneer je op je bank-app op de knop ‘saldo’ klikt, geef je een opdracht voor datatransport. Je vraagt je saldo op bij een databron van je bank en vervolgens verschijnt dit op je scherm.
Bij een batch proces worden de gegevens verzameld en volgens een vast proces verwerkt, bijvoorbeeld ’s nachts, zoals bij het vullen van een datawarehouse zodat de dag nadien de juiste cijfers in het klantenrapport zichtbaar zijn.
Tegenwoordig wint streaming data meer en meer terrein. Hierbij worden gegevens op het moment van ontstaan, realtime dus, verwerkt. Zoals in het voorbeeld van de bank-app.

3. Hij kan omgaan met verschillende realtime- en streamingtechnologieën en zorgt voor een veilige en betrouwbare trip naar de Cloud.
Een Data Engineer heeft zich veel uiteenlopende methoden en technieken eigengemaakt. Denk aan verschillende bestandsindelingen (zoals JSON en XML), databases (klassieke RDBMS en NoSQL), batch- en realtimeverwerking, messaging, monitoring, enzovoort. Dit alles on-premise of in de Cloud.
Wist je dat meer en meer bedrijven hun reis naar de Cloud maken? Ook daar leidt de Data Engineer de klant de juiste weg op, van privé Cloud of on-premise, tot public Cloud (zoals Amazon, Azure, Google) of hybride.

4. Hij maakt data schoon, zorgt dat ze betrouwbaar zijn en bewaakt de datakwaliteit.
Gegevens moeten natuurlijk betrouwbaar zijn. Een Data Engineer is verantwoordelijk voor deze data-integriteit. Tijdens het hele data proces zorgt de Data Engineer dat de data gezond is. Hij past technieken toe om data te controleren, verbeteren en verrijken. Hierbij kan het gaan om het aanpassen van typefouten, het aanvullen van onvolledige informatie of het corrigeren van onjuiste adresgegevens. Want goede data op het gewenste moment op de juiste plaats is van cruciaal belang om correcte bedrijfsbeslissingen te nemen.

5. Hij zorgt ervoor dat de data klaarstaat voor bijvoorbeeld Business Intelligence (BI) specialisten of Data Scientists.
Een Data Engineer zorgt ervoor dat data die een onderneming nodig heeft, beschikbaar en bruikbaar is voor alle gewenste gebruiksscenario’s. Hij stelt onder andere BI ontwikkelaars in staat om query’s uit te voeren. Of zet de data klaar om er Data Science of Machine Learning modellen op los te laten in functie van predictive analytics.