NieuwsConclusionConclusion Integrati...Nieuws‘Eén generieke data ...

‘Eén generieke data pipeline maakt tientallen losse processen overbodig’

Toen Peter Dimmendaal begon aan zijn eerste opdracht bij Conclusion Integration, stond hij meteen voor een uitdaging van formaat. Een grote supermarktketen wilde haar versnipperde datastromen bundelen in één centrale structuur op Azure. De ambitie: écht datagedreven kunnen werken. Maar in de praktijk betekende dat eerst heel veel opruimen. Ieder team binnen de organisatie had namelijk zijn eigen pipelines gebouwd. “Sommige teams hadden vijftig pipelines die bijna hetzelfde deden. Dat is niet schaalbaar en niet te onderhouden.” Voor de oplossing duiken we in Peters hersenpan.

25 augustus 2025 | Blog | Door: Conclusion Integration

Deel

De Hersenpan van Peter - Conclusion Integration

Eén generieke oplossing voor tientallen bronnen

De oplossing die Peter samen met CTO Jos Smits en zijn collega’s van Conclusion Integration bedacht: een orchestration framework bovenop Azure Data Factory. “In plaats van voor iedere bron een aparte pipeline te bouwen, ontwierpen we één generieke pipeline die via metadata verschillende varianten kon aansturen. Het framework werkte als een mal: de logica bleef gelijk, alleen de parameters veranderden.” Zo werd een veelvoud aan processen vervangen door een handvol gestandaardiseerde bouwstenen. En belangrijker nog: het werd beheersbaar.

“Generiek bouwen is geen beperking, het is vrijheid. Je dwingt jezelf tot betere keuzes.”

Peter Dimmendaal

Integratiespecialist bij Conclusion Integration

Leren om het gesprek aan te gaan

Hoewel Peter zijn werk in het begin vooral technisch instak, ontdekte hij al snel dat communicatie minstens zo belangrijk is. Hij voerde gesprekken met een leverancier uit Canada over veilige bestandsoverdracht, adviseerde gebruikers over de output in het datalake en hielp teams hun werkwijze te verbeteren. “Ik dacht altijd dat ik geen consultant was”, zegt hij terugblikkend. “Bleek dat ik het gewoon nog moest worden.” Vooral het directe contact met stakeholders gaf hem energie. “Bellen met iemand die je niet kent, dat vond ik eerst spannend. Maar het werkt altijd beter dan tientallen mailtjes over en weer, blijkt in de praktijk.”

Alles stroomt in het datalake

In het datalake komen verschillende databronnen samen: van operationele bronsystemen tot rapportagedata en verrijkte klantinformatie. Alles wordt centraal opgeslagen op één plek in de cloud, op een manier die schaalbaar en veilig is. Peter: “Een datalake moet je zien als een gestroomlijnde laag waar data binnenkomt, getransformeerd wordt en weer beschikbaar wordt gesteld voor verschillende doeleinden: dashboards, machine learning, realtime alerts, noem maar op.” Door data gestructureerd en volgens vaste definities op te slaan, kunnen teams ermee werken zonder opnieuw het wiel uit te vinden.

Tussen snelheid en regie

Een van de belangrijkste lessen voor Peter: als je als datateam te langzaam levert, gaan anderen het zelf doen. “De business wil tempo maken. Als wij dan eerst nog moeten uitzoeken hoe we een databron netjes in het datalake krijgen, loop je het risico dat teams de raw data zelf ergens neerzetten.” Die balans tussen kwaliteit en snelheid bleek cruciaal. “We moesten duidelijk communiceren en voldoende tempo maken, zodat teams op ons bleven vertrouwen en niet hun eigen route kozen.” Dat lukte onder andere door nauwe samenwerking met vier tot vijf teams die actief data via het lake gebruikten. “Zodra er iets misging, kregen we een seintje. Vaak nog voordat we het zelf hadden gezien.

De hersenpan van Peter in cijfers

Aantal aparte pipelines voor één bron vóór het framework: 10+
Aantal na invoering generiek framework: 1
Aantal bronnen aangesloten op het framework: 20+
Tijdsbesparing per aanpassing: dagen tot weken
Conclusie: schaalbaar denken loont

Iets bouwen dat blijft

Voor Peter zit de trots vooral in de duurzaamheid van het resultaat. Het framework dat hij samen met een klein team ontwikkelde, wordt nog steeds gebruikt én doorontwikkeld. “Vroeger had je vijftig losse pipelines. Nu heb je er één die met metadata vijftig varianten aankan. Dat is gewoon strak geregeld.” En het mooiste? “We zaten daar met een senior, een medior en twee junioren vanuit Conclusion Integration. Samen hebben we iets gebouwd dat werkt, blijft werken en ook echt verschil maakt.”

‘Mijn hersens zijn gewoon gemaakt voor dit werk’

Of hij meteen wist dat hij op zijn plek zat? Peter knikt. “In het begin was het voor iedereen even zoeken. We waren allemaal nieuw, dus er lag nog niks vast. Maar juist dat vind ik leuk: meedenken, uitproberen, iets bouwen en dan zien dat het werkt.” Die vrijheid voelde hij vanaf het begin. “Omdat ik nog geen grote verantwoordelijkheid had, kon ik gewoon lekker dingen uitzoeken. Soms zei een senior teamlid dan: hmm, zo gaan we het niet doen. En soms: wow, dit werkt goed! Dat moment dat iets technisch klopt én functioneel waardevol is, daar ga ik echt op aan. Dan weet ik: mijn hersens zijn gewoon gemaakt voor dit werk.”