Direct naar de content
27 juni 2019 - Blogs

Data Warehouse: de volgende stap in datagedreven sturing

Klanten die met CIR/COO en de Inzicht Dashboards werken herkennen de waarde van de aanwezige data in het LDF Magazijn. We zien echter een klantgroep die niet alleen de vragen van nu wil beantwoorden zoals "stijgt het aantal instromers dat gebruik maakt van een WMO voorziening?", maar ook nieuwe vragen willen kunnen beantwoorden: ad-hoc informatie vragen van het college van B&W en die willen kunnen voorspellen "wat is de te verwachten bevolkingssamenstelling in een nieuwbouw wijk en welke voorzieningen horen daarbij?", "Hoe zullen de kosten in het jeugdzorgdomein zich de komende jaren ontwikkelen?". Bovendien willen ze dit doen met de Business Intelligence tools waar deze gemeenten de afgelopen jaren al in hebben geïnvesteerd. 

In essentie is de Data Warehouse een architectuur waarin data in een aantal stadia opgehaald wordt uit de bronsystemen, lokaal wordt opgeslagen om opgeschoond en bewerkt te worden, vervolgens in een centrale database de "Data Warehouse" opgeslagen wordt om tot slot aangeboden te worden aan online applicaties (OLAP) voor rapportage doeleinden. Deze OLAP applicaties kunnen Business Intelligence tools zijn. De Data Warehouse verzameld organisatie breed alle data. In een Data Warehouse wordt de data opgeslagen als feiten in een STAR model. De kracht van dit model is dat data snel opgehaald en gepresenteerd wordt.

Marktontwikkelingen
De technologische ontwikkelingen hebben sinds eind jaren tachtig niet stil gestaan. Eén ontwikkeling lichten we graag uit: Big Data Ingestion tools.

Big Data Ingestion tools
Traditioneel worden ETL tools ingezet om de Data Warehouse te vullen. De ETL tool moet een aantal activiteiten uitvoeren voordat het de Data Warehouse kan vullen. Eerst moet het de data ophalen uit de bronapplicaties, vervolgens schoont en verrijkt het de data in een staging omgeving, waarnaar het de data laadt in de Data Warehouse. In het proces van laden wordt eerst de Data Warehouse geschoond waarna de nieuwe dataset wordt ingeladen. Dit proces gebeurt meestal in nachtelijke batches. Bekende tools op dit vlak zijn FME en Talend. Sinds 2015/2016 is een nieuwe klasse van tools ontstaan die data near real-time ophalen, bewerken en direct aanbieden aan afnemende applicaties. Het werken met near-realtime data biedt een aantal voordelen. Allereerst beschikt de gebruiker van de data altijd over actuele data. Daarnaast wordt het nu ook mogelijk mutaties in gegevens vast te houden. Voor attributen waarvoor dat interessant is kan nu een historie opgebouwd worden.

Productontwikkeling
In de eerste helft van 2019 zijn verkennende gesprekken gevoerd met verschillende gemeenten. In deze gesprekken is gekeken tegen welke knelpunten gemeenten aanlopen met huidige Data Warehouse oplossingen. Verder zijn de behoeften en requirements geïnventariseerd. Op basis van deze input is een eerste technische visie op de Data Warehouse ontwikkelt. Met deze visie is PinkRoccade het gesprek weer aangegaan met gemeenten om te bepalen wat de belangrijkste onderdelen in de architectuur voor een gemeente zijn en om feedback op te halen waarmee we de visie verder aanscherpen.

Ook intern zijn we aan de slag gegaan
Er is gekeken naar hoe past de Data Warehouse in het productportfolio van PinkRoccade en hoe kan het Minimal Viable Product voor een Data Warehouse eruit zien? Het gaat daarbij niet alleen om de technische bouwstenen.

Het doel is om op korte termijn tot een gedragen productvisie op de Data Warehouse te komen. Een visie die verder reikt dan een oplossing en aansluit op de werkwijze van gemeente en de specifieke problematiek en uitdagingen die lokale overheden kennen.

De volgende stap is dat we op 1 juli het gesprek aangaan met gemeenten over de productvisie. Dit keer niet individueel maar nu in een gezamenlijk sessie met meerdere gemeenten.

Neem contact met ons op
Heb je interesse in meer informatie over Datawarehousing of de ontwikkelingen op het gebied van datagedreven sturing? Neem dan gerust contact met mij op?

Deel via: