Direct naar de content
icon search white
27 juni 2019 - Blogs

Eerste technische visie op de Data Warehouse

Klanten die met CIR/COO en de iNzicht dashboards werken herkennen de waarde van de aanwezige data in het LDF Magazijn. We zien echter een klantgroep die niet alleen de vragen van nu wil beantwoorden, zoals "stijgt het aantal instromers dat gebruik maakt van een Wmo voorziening?", maar ook nieuwe vragen willen beantwoorden, zoals: "wat is de te verwachten bevolkingssamenstelling in een nieuwbouwwijk en welke voorzieningen horen daarbij”?. Bovendien willen ze dit doen met de Business Intelligence tools waar de gemeente de afgelopen jaren al in heeft geïnvesteerd. 

De Data Warehouse
In essentie is de Data Warehouse een architectuur waarin data in een aantal stadia opgehaald wordt uit de bronsystemen. Deze data wordt lokaal opgeslagen om opgeschoond en bewerkt te worden. Vervolgens slaan we de data op in een centrale database de "Data Warehouse" om tot slot aan te bieden aan online applicaties (OLAP) voor rapportage doeleinden. Deze OLAP applicaties kunnen Business Intelligence tools zijn. De Data Warehouse verzamelt organisatie breed alle data. In een Data Warehouse wordt de data opgeslagen als feiten in een STAR model. De kracht van het STAR model is dat je de data snel ophaalt en presenteert.

Markontwikkelingen: near-realtime data
De technologische ontwikkelingen staan niet stil. Eén ontwikkeling licht ik graag uit: Big Data Ingestion tools.

Traditioneel zetten we ETL tools in om de Data Warehouse te vullen. De ETL tool moet een aantal activiteiten uitvoeren voordat het de Data Warehouse kan vullen. Eerst moet het de data ophalen uit de bronapplicaties, vervolgens schoont en verrijkt het de data in een staging omgeving, waarnaar het de data laadt in de Data Warehouse. In het proces van laden wordt eerst de Data Warehouse geschoond waarna de nieuwe dataset wordt ingeladen. Dit proces gebeurt meestal in nachtelijke batches. Bekende tools op dit vlak zijn FME en Talend. Sinds 2015/2016 is een nieuwe klasse van tools ontstaan die data near real-time ophalen, bewerken en direct aanbieden aan afnemende applicaties. Het werken met near-realtime data biedt een aantal voordelen. Allereerst beschikt de gebruiker van de data altijd over actuele data. Daarnaast is het nu ook mogelijk mutaties in gegevens vast te houden. Voor attributen waarvoor dat interessant is kan nu een historie opgebouwd worden.

Productontwikkeling Data Warehouse bij PinkRoccade
In de eerste helft van 2019 zijn verkennende gesprekken gevoerd met verschillende gemeenten. In deze gesprekken is gekeken tegen welke knelpunten gemeenten aanlopen met huidige Data Warehouse oplossingen. Verder zijn de behoeften en requirements geïnventariseerd. Op basis van deze input is een eerste technische visie op de Data Warehouse ontwikkelt. Met deze visie is PinkRoccade het gesprek weer aangegaan met gemeenten om te bepalen wat de belangrijkste onderdelen in de architectuur voor een gemeente zijn. Daarnaast is de feedback opgehaald waarmee we de visie verder aanscherpen.

Ook intern zijn we aan de slag gegaan
Er is gekeken naar hoe past de Data Warehouse in het productportfolio van PinkRoccade en hoe kan het Minimal Viable Product voor een Data Warehouse eruit zien? Het gaat daarbij niet alleen om de technische bouwstenen.

Het doel is om op korte termijn tot een gedragen productvisie op de Data Warehouse te komen. Een visie die verder reikt dan een oplossing en aansluit op de werkwijze van gemeente en de specifieke problematiek en uitdagingen die lokale overheden kennen.

De volgende stap is dat we op 10 juli het gesprek aangaan met gemeenten over de productvisie. Dit keer niet individueel maar in een gezamenlijk sessie met meerdere gemeenten.

Neem contact met ons op
Heb je interesse in meer informatie over Datawarehousing of de ontwikkelingen op het gebied van datagedreven sturing? Neem dan gerust contact met mij op via Edwin.Witt@PinkRoccade.nl.

Vriendelijke groet,

- Edwin Witt, Architect Informatievoorziening -

Deel via: