Help, mijn IT-afdeling is dataklusser!

Hoewel het al jaren één van de belangrijkste thema’s op IT-vlak is, wordt de kloof tussen business en IT maar niet gedicht. Uit ons recente onderzoek naar de datavoorziening bij grote organisaties blijkt dat het gat ook geldt op datavlak. Zo voelt 30 procent van de respondenten zich niet begrepen door de eigen IT-afdeling, voor IT-partners ligt dit op 26 procent. Ook vindt 23 procent dat de eigen IT-afdeling – en 25 procent dat de IT-partner – géén waardevolle bijdrage levert aan het behalen van de bedrijfsdoelen.

Businessteams richten zich op het realiseren van de organisatiedoelen, terwijl IT-afdelingen vooral focussen op het leveren en beheren van IT-systemen. Dit leidt gemakkelijk tot inefficiënte werkwijzen en een gebrek aan afstemming tussen deze werelden. Vooral als het gaat om de beschikbaarheid van realtime data die direct bruikbaar is voor besluiten op het gebied van operationele bedrijfsprocessen. We zien dat organisaties moeite hebben om voldoende waarde uit deze realtime data te halen. Eén op de acht respondenten gaf in ons onderzoek zelfs aan dat de beschikbare data in het geheel niet van waarde is.

Belangrijk om de kloof op datavlak te overbruggen is dat het datateam met (minstens) één voet in de business staat. Datateams bestaan vaak uit data-engineers en DevOps-specialisten die zich ontfermen over de infrastructuur en systemen, data-analisten die verantwoordelijk zijn voor het verzamelen, opschonen en analyseren van de gegevens en data-scientists die de analyses uitvoeren.

Businessbewustzijn bij data-engineers is cruciaal voor de koppeling met de business. Een data-engineer draagt zorg voor het beheer en de kwaliteit van data binnen een organisatie en garandeert dat de gegevens op een effectieve, efficiënte en veilige manier worden verzameld, verwerkt en gebruikt. Als de data-engineer bekend is met de bedrijfsprocessen én kennis heeft van zowel business als IT, kan hij het verkrijgen van meer waarde uit data versnellen. Bijvoorbeeld door in te schatten of een bepaalde vraag uit de business eenvoudig te realiseren is of door te adviseren over nieuwe businesskansen vanuit de beschikbare data.

Traditioneel wordt data gestructureerd in een datawarehouse geplaatst. De grootste nadelen daarvan zijn de trage verversing en de inflexibiliteit ten aanzien van verschillende datasoorten. De modernere oplossing is een datalake, waarbij het soort data dat je wilt opslaan niet wordt beperkt. Je mist echter structuur en hebt minder grip op de verversingsgraad, aangezien dit per datasoort verschilt.

Wat wij vaak zien gebeuren in de praktijk: IT gooit alles in het datalake, waarna de business het plat gezegd maar mag uitzoeken. Beter is om business en IT eerst met elkaar te laten praten over de bedrijfsdoelen. Business kan dan definiëren welke stuurinformatie er nodig is, terwijl IT zich richt op het effectief inzetten van een dataplatform en data-engineering om dit voor elkaar te krijgen.

In het ergste scenario praten IT en business op voorhand helemaal niet met elkaar. De business gaat dan zelf op zoek, laat zijn oog vallen op een platform als Databricks, Azure Synapse of Snowflake en bestelt dit bij IT zonder enige samenwerking. Om na de implementatie te constateren dat er nog steeds geen effectief dataplatform is. Deze platformen zijn erg geschikt voor het verwerken en beschikbaar stellen van grote hoeveelheden data. Echter, er zijn nog steeds specialisten nodig die iets van de beschikbare data kunnen maken.

De juiste volgorde? Eerst praten business en IT samen over informatieproducten, dan besluit je over de beste data-engineering practices en vervolgens kies je een platform.

Datamesh kan een mooi concept zijn om dit vorm te geven. Binnen dit gedecentraliseerde en domeingeoriënteerde model is iedere businessunit verantwoordelijk voor zijn eigen data-pipelines. Belangrijk is dat ieder domein een product owner voor de data heeft. De verschillende teams beschikken over de data-pipelines van de andere teams, zodat ze beter kunnen samenwerken, makkelijker inzichten kunnen delen en minder dubbel werk hoeven te verrichten.

Bij datamesh fungeert het datalake als een soort machinekamer voor de verwerking van data. De product owners en de data-scientists kunnen vervolgens achter de knoppen gaan zitten om bruikbare informatie te genereren. Met datamesh is het mogelijk om met de producten in de machinekamer behapbare en betrouwbare dataproducten te maken, waardoor teams snel en daadkrachtig waarde uit data halen zonder dat business en IT elkaar in de weg zitten.

AMIS Conclusion kan klanten helpen met het opzetten van datamesh, onder meer door – met behulp van professionele data-engineering – pipelines te bouwen die ervoor zorgen dat de dataproducten betrouwbaar, snel en veilig beschikbaar zijn voor de analisten. Evenmin als een datalake is datamesh echter een oplossing voor alle kwalen: het moet wel passen bij het type probleem dat een organisatie heeft.

Een opvallend resultaat uit ons onderzoek is dat eigen IT-afdelingen op datavlak vaak slechter scoren dan IT-partners. Toegegeven: het is een kwaaltje van álle IT’ers. Vraag je ze zonder heldere context, planning, scope of randvoorwaarden om iets te doen? Dan maken ze allerlei gave dingen zonder te weten of het iets gaat toevoegen.

Zo wordt vaak veel tijd gestoken in het opzetten van een dataplatform, datalake of analytics-omgeving zonder zich af te vragen waarvoor het wordt gebruikt. Soms is dit op instigatie van een softwareleverancier die heeft beloofd dat de software in kwestie alle uitdagingen en ambities van de business oplost.

Waar eigen IT-afdelingen vaak simpelweg maken waar men om vraagt, focussen IT-partners meer op het eindresultaat. Vanuit de doelen kijken ze welke dataproducten daarbij horen. Wat ook zal meespelen: er is geen onbeperkt budget voor externe partijen, dus kijken organisaties beter wat ze aan hen vragen. En dat leidt tot strakker afgebakende vragen en dataproducten met meer impact. Meer impact betekent ook meer opbrengsten en daarmee weer een nieuw budget om de volgende uitdaging op te pakken.

AMIS kijkt voor haar klanten altijd eerst naar de informatiebehoefte en toekomstige plannen van de organisatie. Vanuit dat perspectief bepalen we een aanpak, die gericht is op zowel het betrouwbaar en herhaalbaar beschikbaar stellen van de databronnen als het karakter van de data. Daarbij zien we steeds vaker behoefte aan realtime data. Op basis van al deze karakteristieken kiezen we een dataplatform en een strategie voor data-engineering. Zo realiseren we op korte termijn waardevolle dataproducten én borgen we dat het platform toekomstbestendig is. Gevolg: de gebruikers van de data bij onze klanten kunnen snel aan de slag met het realiseren van waarde.