Duik in het concept Data Mesh met Ernout Douqué

Wat is data mesh? 

Strikt genomen hoort data mesh niet thuis in de emerging technologies radar, want het gaat niet sec over technologie maar vooral over een organisatorisch concept; een manier van organiseren hoe je omgaat met data in je organisatie. Het voornaamste uitgangspunt is dat je data ziet als een product dat door iedereen in de organisatie kan worden gemaakt en gebruikt. Data wordt eenmalig vastgelegd en kan daarna op verschillende manier worden hergebruikt, bijvoorbeeld in een dashboard, AI-model, deelbare datasets, et cetera. Deze dataproducten worden gemaakt door autonoom opererende business/domeinteams, waar ook data-experts onderdeel van uitmaken. In plaats van een centraal data & analytics-team dat de dataproducten maakt, is bij data mesh een decentrale aanpak het uitgangspunt. Daar hoort ook een decentrale data-architectuur bij. 

 Wat zijn de voordelen van data mesh? 

Het belangrijkste voordeel van het data mesh-concept is snelheid. Door de verantwoordelijkheid voor dataproducten gedistribueerd in de organisatie te beleggen en data te democratiseren, kunnen teams sneller hun eigen dataproducten ontwikkelen. Hierbij zijn ze niet langer afhankelijk van een centraal datateam. Als je van datagedreven werken de norm wilt maken in je organisatie, dan is data mesh een sterk concept waarmee je dit doel kan bereiken. Dit werkt met name bij grotere organisaties met veel vraag naar dataproducten en een hoge diversiteit aan databronnen. Want in de praktijk zien we dat een aanpak waarin een centraal team verantwoordelijk is voor het realiseren van dataproducten in dergelijke organisaties tot bottlenecks en vertragingen in het opleveren van dataproducten kan leiden. 

Een ander voordeel van dit concept is dat datateams, waar nodig, met hun eigen tools kunnen werken, zo lang ze zich maar houden aan de afspraken op het gebied van architectuur en datamanagement. De dataspecialisten in je organisatie hebben dus relatief veel vrijheid. 

Wat maakt data mesh zo complex? 

Het allerlastigste onderdeel van zo’n decentrale aanpak is dat je uiteraard wel naar het grotere geheel moet blijven kijken. Je hebt het dan over gedeelde datadefinities, governance, datamanagement en meer van dit soort taaie, maar voor consistent gebruik van data, essentiële onderwerpen. Technologie is zelden het struikelblok; iedereen ervan overtuigen dat ze volgens de gekozen governanceprincipes blijven werken is dat vaak wel.  

Je zult gemeenschappelijke definities moeten maken, delen en beheren. Wat is bijvoorbeeld de definitie van een klant en welk (bron)systeem bepaalt dit? In een sales proces kan dit immers best anders zijn dan in het finance proces. Je zult ook moeten afspreken welk team eigenaar is van welke data en wat er allemaal bij dat eigenaarschap komt kijken. Hoe organiseer je dat de datakwaliteit op orde blijft? Hoe zorg je ervoor dat iedereen zich houdt aan de leverafspraken met betrekking tot data? Hoe hou je de dataketen in jouw organisatie integer? 

Het mag duidelijk zijn dat je zo’n nieuwe manier van werken niet zo maar eventjes implementeert. Het is een veranderproces dat tijd nodig heeft en dat je continu moet blijven voeden. Anders is de kans groot dat je weliswaar heel succesvol snel een paar dataproducten oplevert die de eerste maand enthousiast worden gebruikt, maar dat de verandering niet beklijft en de kwaliteit en het hergebruik van data in jouw organisatie niet verbeteren. 

Praktijkcase: Data mesh bij een telecomprovider 

In vrijwel iedere organisatie neemt de vraag naar snel beschikbare en toepasbare inzichten (actionable insights) toe. Om deze vraag aan te kunnen, voerde een telecomprovider een fundamentele verandering door in de data-architectuur en het datamanagement. Hot ITem Conclusion hielp dit bedrijf bij de transformatie van een centrale data-afdeling naar gedistribueerde datadomeinen, op architectuur-, organisatorisch en technologisch niveau.