Ik werk met data. Maar wat doe ik dan precies?

Het dataproductieproces

Ik krijg regelmatig de vragen: “Harm, wat voor werk doe je?” en “Waar houd jij je dagelijks mee bezig?” Ik vind het lastig om dat in een paar woorden te omschrijven.  Zo maak ik rapportages voor opdrachtgevers, maar dat is maar het topje van de ijsberg. Hier ligt namelijk een heel proces van data verzamelen, data verwerken en data beheren aan ten grondslag waarbij ik ook betrokken ben. Daarvoor vervul ik verschillende rollen, zoals die van developer, adviseur, trainer of beheerder. Wanneer ik het dan toch zo kort en bondig mogelijk moet omschrijven, dan zeg ik dat ik bedrijven help om datagedreven te werken.

Als ik zeg dat ik loodgieter ben, of timmerman of chauffeur, dan weet iedereen precies wat ik bedoel en wat mijn werk inhoudt. Maar zeg ik tegen vrienden of familie dat ik bedrijven help om datagedreven te werken of dat ik Data Engineer, Data Scientist of Analist ben, dan word ik vaak glazig en verdwaasd aangekeken. Hoog tijd om daar wat aan te veranderen. Ik neem je in mijn blog graag mee in de wereld van data.

De meesten van jullie werken al met data

Hoewel er vaak wordt gedacht dat data en het werken hiermee iets ingewikkelds is, is het in de basis eigenlijk best simpel. Ik weet zeker dat de meesten van jullie dat al wel eens gedaan hebben, bijvoorbeeld met Excel. Stel bijvoorbeeld dat je een etentje organiseert. Dan kan Excel heel makkelijk zijn om bij te houden wat ieders menukeuze is en wat de dieetwensen zijn. Vervolgens tel je hoeveel keer vlees, vis of vega er is opgegeven met een formule in Excel en zet je de resultaten onder elkaar. Gefeliciteerd! Je hebt zojuist in een hele simpele vorm met data gewerkt. Je hebt hiervoor de volgende stappen doorlopen:

1. Data verzamelen
2. Data verwerken en/of transformeren
3. Data laden en tonen (rapporteren)

In het hierboven genoemde voorbeeld is de situatie nog vrij makkelijk te overzien. Het gaat om een kleine hoeveelheid data die handmatig verwerkt kan worden. Maar wat doe je als je meerdere etentjes organiseert? En wat doe je als je dagelijks duizenden of miljoenen regels data moet verwerken? Dat ga je niet meer met de hand in Excel doen. Om dit in goede banen te leiden heb je een dataproductieproces nodig.

Een voorbeeld van een productieproces

Om data op grote schaal te verwerken en goed te rapporteren heb je een productieproces nodig. Laten we ter vergelijking het productieproces van een auto eens bekijken. Om een auto te bouwen heb je grondstoffen nodig, zoals staal. Dat verwerk je tot de onderdelen van een auto. En vervolgens zet je de auto in elkaar. In de basis heb je dan een productieproces.

Nu zou ik in theorie een auto thuis in mijn schuur kunnen bouwen, met een lasapparaat en wat handgereedschap. Maar waarschijnlijk ga ik zodra ik met die auto ga rijden problemen ondervinden. Het stuur trekt naar rechts, de auto is niet zuinig, als ik begin te rijden tril ik bijna uit mijn stoel en de motor valt uit. Voor een kort ritje crossen kan de auto misschien voldoen, maar als ik dagelijks van A naar B moet dan wil ik een betrouwbare auto die als het even kan ook nog comfortabel is. Een dergelijke auto maak je niet in je schuur, maar in een fabriek.

Een dataproductproces en een datafabriek

Je denkt nu vast: “OK Harm, het autovoorbeeld is duidelijk. Maar hoe zit het nu met data?” Nou, data kan gezien worden als de grondstof voor een rapport. Het rapport moet betrouwbaar en gebruiksvriendelijk zijn, net zoals je auto. Zo zijn er dataproductieprocessen die data verwerken tot rapportages.

Om terug te komen op de vraag wat ik nou precies doe: Nou, ik help bedrijven hun dataproductieprocessen op te zetten en hun datafabrieken te runnen. Zodat ze geïnformeerde beslissingen maken op basis van betrouwbare rapportages.

In deze opvolgende blog ga ik verder in op het hoe en wat van een datafabriek.

Harm van Giersbergen
Data & Analytics Consultant

Deel dit met uw volgers