Waarom investeren in een data catalogus?

Data is waarde. Waarde voor een organisatie. Scamander helpt daarom klanten om het beste uit data naar boven te halen, zodat het relevante en waardevolle informatie wordt. Maar om waarde uit data te halen, moet je wel eerst weten welke data je tot je beschikking hebt. En wat die data betekent. De zogenaamde metadata. Om dit te faciliteren, gebruiken we de principes van FAIR. Dit houdt in dat data vindbaar (Findable), toegankelijk (Accessible), interoperabel (Interoperable) en herbruikbaar (Reusable) moet zijn. Meer informatie over FAIR vind je hier.

Mijn collega Bas Rekveldt schreef in zijn blog ‘Vragen en antwoorden over data’ al over de noodzaak van metadata. En ook dat metadata erg verspreid ligt in de organisatie. Met de grote hoeveelheden data en de mate van gebruik blijkt dit niet praktisch. Gelukkig kan een data catalogus hierin helpen. Zonder data catalogus heb je misschien wel een bibliotheek vol met boeken, maar die zijn zonder kaft en colofon, dus anoniem en onherkenbaar.

Wat is een data catalogus?

Wat is een data catalogus dan precies? Een data catalogus is een georganiseerd en gestructureerd geheel van informatie dat helpt bij het beheren, lokaliseren, begrijpen en vertrouwen van data binnen een organisatie. Een data catalogus bestaat uit verschillende componenten:

1. Metadata – informatie over de data (zoals bron, formaat, eigenaar, laatste update).
2. Data Dictionary – definities en beschrijvingen van de datasets en hun attributen.
3. Zoek- en Ontdekkingsfuncties – voor hulp bij het vinden en filteren van specifieke datasets.
4. Gegevens Lineage en Afhankelijkheden – herkomst van de gegevens, eventuele veranderingen en relaties tussen datasets.
5. Toegangsbeheer en Beveiliging – wie heeft toegang tot wat en beveiligingsprotocollen?
6. Integratiecapaciteiten – integreren met andere systemen en databronnen.
7. Gebruikersinterface – voor eenvoudig vinden van de benodigde informatie.
8. Beoordelingen en Feedback – om kwaliteit en bruikbaarheid van datasets te verbeteren.
9. Compliance en Governance Tools – voor naleving van wet- en regelgeving.

Vereisten data catalogus

Wat zijn de vereisten voor een data catalogus? Naast de algemene functionaliteit, kan dat per organisatie verschillen. Een aantal van de hierboven beschreven componenten, vinden wij extra belangrijk. Daarom wil ik die benadrukken en nog een keer benoemen.

Zoek- en ontdekkingsfuncties

Als je data niet kunt vinden en niet kunt doorzoeken, kun je er ook niets mee realiseren. Daarom is deze functionaliteit het startpunt van datagedreven werken. Gebruikers moeten in staat zijn om gemakkelijk te zoeken en de benodigde data te vinden. Wanneer de data catalogus geavanceerde zoekfuncties heeft, helpen die de gebruikers bij het filteren en lokaliseren van specifieke datasets.

Metadata

Metadata is de kern van iedere datacatalogus. Zodra je data hebt gevonden, moet je weten wat de data precies is, wat het inhoudt en of je het mag en kunt gebruiken. Metadata is informatie over de data, zoals de bron, het formaat en de eigenaar. Maar ook de laatste update en wie er toegang heeft tot de data. Goed om ook kwaliteitsindicatoren en gebruiksgeschiedenis vast te leggen.

Toegangsbeheer en beveiliging

Om te kunnen voldoen aan alle geldende privacy- en security-regels en wetgeving is toegangsbeheer en beveiliging van de data essentieel. Wie heeft er toegang tot de verschillende delen van de data catalogus en wie mag er wel en niet bij specifieke data? En staat de data op een veilige plek? De data catalogus moet ook beveiligingsprotocollen bevatten om data goed te beschermen.

Integratiecapaciteiten

Voor de meeste informatievragen, vooral als ze wat complexer worden, heb je verschillende databronnen nodig. Daarvoor zul je die databronnen moeten kunnen integreren. De mogelijkheid om te integreren met andere systemen en databronnen is daarom cruciaal voor een effectieve datacatalogus.

Open source

Ook technisch vlak vinden we bij Scamander ook dat er een aantal vereisten zijn voor een goede data catalogus. Zo moet het aansluiten bij onze Cloud Native architectuur. En de catalogus moet uitbreidbaar zijn aan de applicatiezijde. Waarom? Omdat je data eenvoudig wilt ontsluiten en indexeren door de data catalogus te koppelen aan alle applicaties die je gebruikt en wilt gaan gebruiken.

Wanneer je deze vereisten voor een data catalogus hebt, kijk je al snel naar open source oplossingen. Deze oplossingen bieden meestal de mogelijkheid het op verschillende platformen neer te zetten, met een duidelijke lijst aan vereisten. Is jouw platform nog niet ondersteund? Dan voeg je deze zelf toe. Daarnaast biedt het eindeloze mogelijkheden om te koppelen met andere platformen en applicaties. Zo hoef je niet te wachten tot de leverancier ondersteunt wat jij wilt gebruiken.

In mijn volgende blog zal ik verder ingaan op de keuze voor een open source variant van een data catalogus.

Glenn Schuurman
Platform Engineer

Deel dit met uw volgers