De technische stappen van een dataproject

In een wereld waarin organisaties steeds meer data verzamelen, wordt het slim benutten van deze data essentieel. Maar hoe werkt datagedreven werken precies? In deze blog nemen we je mee in de technische stappen van een dataproject en hoe deze bijdragen aan betere inzichten en geautomatiseerde besluitvorming.

Geschreven door: Bas Land

Stap 1: Data verzamelen en centraliseren

Elke organisatie heeft verschillende systemen waarin waardevolle data wordt opgeslagen. Denk aan:

• ERP-systemen voor productieplanning en voorraadbeheer
• Boekhoudsystemen met financiële gegevens
• CRM-systemen waarin klantcontact wordt bijgehouden

Al deze gegevens willen we samenbrengen in een dataplatform. Dit stelt ons in staat om analyses uit te voeren, rapportages te genereren en zelfs AI-oplossingen te voeden met relevante informatie.

De eerste stap in dit proces is data-extractie, waarbij gegevens uit verschillende bronsystemen worden opgehaald. Dit moet continu en betrouwbaar gebeuren, zonder de werking van operationele systemen te verstoren.

Stap 2: Data laden in een datalake

Zodra de data is verzameld, wordt deze opgeslagen in een datalake. Hier moeten we rekening houden met:

• Schaalbaarheid – De oplossing moet flexibel blijven bij groeiende hoeveelheden data.
• Veiligheid – Gevoelige informatie moet goed worden beschermd.
• Kostenbeheersing – Efficiënt data laden voorkomt onnodige kosten bij cloudproviders.

Een veelgebruikte methodiek is ELT (Extract, Load, Transform). Hierbij wordt data eerst ingeladen en pas daarna getransformeerd. Dit biedt meer flexibiliteit dan de traditionele ETL-aanpak, waarbij data al tijdens het laden wordt bewerkt.

Stap 3: Data structureren en verrijken

Om data bruikbaar te maken, wordt deze getransformeerd en klaargezet voor specifieke analyses. Dit gebeurt vaak volgens het brons, zilver, goud-model:

• Bronzen laag – Hier wordt ruwe data onbewerkt opgeslagen.
• Zilveren laag – Data wordt geordend en historische wijzigingen worden bijgehouden (bijvoorbeeld via ‘time travel’).
• Gouden laag – Data wordt voorbereid voor specifieke toepassingen zoals dashboards, machine learning of geautomatiseerde processen.

Een voorbeeld: als een klant verhuist van Amsterdam naar Rotterdam, wil je oude orders aan Amsterdam kunnen blijven koppelen. In de zilveren laag wordt deze historie bewaard, zodat analyses correct blijven.

Stap 4: Toepassingen van datagedreven werken

1. Dashboards en rapportages

Een veelgebruikte toepassing van data-analyse is het creëren van dashboards in tools zoals Power BI, Tableau of Qlik. Hiermee kunnen gebruikers in één oogopslag trends en ontwikkelingen volgen.

2. Chatbots en AI-gedreven interactie

Door data beschikbaar te stellen aan chatbots, kunnen gebruikers vragen stellen zoals: Wat is mijn factuurbedrag? De chatbot kan dan direct in de database zoeken en een antwoord geven.

3. Procesautomatisering

Data kan ook worden ingezet om processen te automatiseren. Bijvoorbeeld:

• Een adviesbureau monitort dagelijks of medewerkers hun uren hebben ingevuld.
• Als dit niet gebeurt, ontvangen ze eerst een vriendelijk Teams-bericht.
• Blijft de invoer uit, dan wordt er automatisch een melding naar de manager gestuurd.

4. AI-agents en zelflerende systemen

Een AI-agent kan zelfstandig data doorzoeken en op basis daarvan acties ondernemen. Dit maakt het mogelijk om bijvoorbeeld automatisch incidenten te signaleren en opvolging in gang te zetten.

Conclusie

Datagedreven werken draait om het verzamelen, verwerken en inzetten van data om betere beslissingen te nemen en processen te automatiseren. Door data op een gestructureerde manier op te slaan en te transformeren, kunnen organisaties inzichten verkrijgen en hun efficiëntie verhogen. Van dashboards tot AI-gedreven automatisering: de mogelijkheden zijn eindeloos.

---

Webinar

Dit onderwerp is behandeld tijdens ons webinar over datagedreven werken. Dit webinar is hier volledig terug te kijken.