Datawarehouse opzetten
Wat is een datawarehouse?
Uw organisatie heeft data opgeslagen staan op verschillende locaties. Bijvoorbeeld in een boekhoudsysteem, een HR- en salarispakket, een Enterprise Resource Planning (ERP)-systeem, een Customer Relationship Management (CRM)- systeem voor uw relatiebeheer of een projectenregistratie. Binnen veel organisaties staat dit in verschillende systemen, van diverse leveranciers. Uiteraard wilt u deze gegevens combineren, om inzicht te krijgen en nieuwe inzichten te genereren. Door deze data in een datawarehouse te plaatsen is dit mogelijk. In een datawarehouse worden gegevens verzameld vanuit verschillende databronnen. Een datawarehouse fungeert dus als één centrale locatie om data op te slaan, waarna u data kunt samenvoegen, vergelijken, transformeren en combineren, om vervolgens te gebruiken voor de ontwikkeling van bedrijfsrapportages. Bijvoorbeeld in Power BI.
Door de data uit uw databronnen één of meerdere keren per dag te repliceren naar een datawarehouse heeft u altijd uw gegevens ter beschikking om te analyseren. Het ophalen van data uit deze bronnen is voor veel organisaties een probleem, omdat er technische kennis vereist is om de bron te benaderen en data vervolgens op te halen. Daarnaast heeft elk pakket zijn eigen beperkingen en limieten per dag waar rekening mee gehouden moet worden. Ook zijn databronnen met eigen databases vaak niet geschikt om uitgebreide analyses op uit te voeren. Deze beperkingen heeft uw datawarehouse niet: u maakt een analyseomgeving met al uw gegevens, waar u vervolgens rapportages en dashboards op kunt ontwikkelen.
Extract, Transform & Load (ETL)
Datawarehousing draait om het verzamelen, samenvoegen en beschikbaar stellen van data uit verschillende databronnen. De term die hiervoor wordt gebruikt in Business Intelligence is Extract, Transform and Load (ETL). Het maken van een handmatige export in bijvoorbeeld Exact Online (Extract), het openen van deze export in Microsoft Excel om vervolgens diverse berekeningen en filteringen te doen (Transform) en dit vervolgens op te slaan en te gebruiken voor analyses (Load) zou al een simpel voorbeeld kunnen zijn van een ETL-proces. Als men meerdere bronnen gaat gebruiken voor analyses, geautomatiseerd de data uit deze bronnen dagelijks gaat ophalen en rapportages periodiek gaat vernieuwen op basis van deze verzamelde data uit meerdere bronnen, dan kunt u spreken van datawarehousing.
Het datawarehouse
De brondata die opgehaald wordt uit de databronnen, wordt dan vervolgens geladen in het datawarehouse. Een datawarehouse is een centrale verzamelplek van alle data uit verschillende bronnen. Hierin kan zowel de huidige data als historische data worden opgeslagen. Vanaf deze plek kan de data vervolgens worden gebruikt voor analyse. Tijdens deze stap, van brondata naar datawarehouse, is het gebruikelijk zo min mogelijk aan de data te filteren, berekenen, wijzigen of samenvoegen. Zo bevat een datawarehouse altijd alle gewenste data uit alle systemen voor nieuwe analyses en ad-hoc vragen. Voor elke gewenste analyse staat de data klaar. Een datawarehouse kan zowel door ons worden beheerd als door u.
KPI Solutions slaat data op in de cloud, waarbij we hebben gekozen om onze databases op te slaan bij Microsoft Azure. Alle datawarehouses die wij voor klanten beheren, net als alle datasets van Power BI rapporten die wij publiceren, bevindt zich in het Microsoft datacentrum ‘Noord-Europa’. De data verlaat dus binnen het ETL proces nooit de EU, en valt volledig onder de Europese AVG-wetgeving. Dit datacentrum is de gekoppelde regio van het Microsoft datacentrum in Nederland, waardoor ook tijdens storingen en gepland onderhoud data nooit wordt verplaatst buiten de veilige regio’s.
Datamarkt (DM)
Vanuit dit datawarehouse worden dan zogenaamde datamarkten gemaakt. In het datawarehouse staat alle data die is verzameld vanuit alle bronsystemen. Niet alle afdelingen hebben echter alle data nodig. Naast dat dit onoverzichtelijk en overweldigend is voor de mensen die informatie proberen te vinden, kan het zo zijn dat bijvoorbeeld managementinformatie niet door alle medewerkers mag worden gebruikt. Deze datamarkten zijn dus een speciaal geselecteerd deel van de data die is opgehaald vanuit het datawarehouse. Data in datamarkten word door ons opgeslagen in datasets in Power BI Service. Power BI Service is de online omgeving van Power BI, te bereiken via app.powerbi.com. De datasets in Power BI Service zijn een voor Power BI geoptimaliseerde versie van Microsoft SQL Server Analysis Service (SSAS).
In de stap van het datawarehouse naar de datamarkt worden zoveel mogelijk van de berekeningen gedaan: bijvoorbeeld de orders uit het salespakket samenvoegen met de transactieregels uit het boekhoudpakket, de ordernummers naast elkaar leggen uit verschillende systemen of de klantlijsten uit diverse pakketten samenvoegen. Ook wanneer verschillende bedrijfsonderdelen om historische redenen nog verschillende boekhoudpakketten gebruiken, of wanneer u bent overgestapt van het ene naar het andere pakket, kunnen de gegevens over alle jaren en administraties bij elkaar worden samengevoegd in deze stap. Dit kan met de programmeertaal SQL of met Power Query. Power Query is het onderdeel van Power BI waar u komt als u op ‘Get Data’ of ‘Transform Data’ klikt. In de datamarkt is de data dan klaar voor de rapportages, zonder dat de eindgebruiker hier nog over moet nadenken. U zet alleen de tabellen, kolommen en regels klaar die voor de rapporten nodig zijn.
Zo krijgt u door datawarehousing bijvoorbeeld de beschikking over één datamarkt met zowel uw AFAS Online als Exact Online boekhoudingen van verschillende administraties die vanuit overnames zo zijn ontstaan, u kunt uw salesopbrengsten in Exact Online berekenen per campagne uit Google Analytics of u vergelijkt de geregistreerde projecturen in Teamleader met de factuurregels uit Twinfield. U wordt de baas over uw data.
Hoe kunnen wij u helpen bij het opzetten van een datawarehouse?
Het opzetten en inrichten van een datawarehouse is bedrijfsspecifiek, en daarom maatwerk. De stappen die genomen moeten worden zijn afhankelijk van de databronnen binnen uw organisatie en de manier waarop de data op dit moment verwerkt wordt. Uiteraard spelen uw wensen hierin ook een grote rol. Want wat wilt u met uw data gaan doen? Afhankelijk van bovenstaande factoren kunnen onze professionals een roadmap opstellen. Hierbij wordt er gekeken naar welke onderdelen binnen het datawarehouse als eerste opgepakt kunnen worden, en welke volgorde hierin het meest logisch is. U stapt niet in één dag over van uw huidige manier van werken naar een datawarehouse, laat staan een Business Intelligence rapportage. Uw bedrijf data driven maken doet u niet van de ene op de andere dag, maar op een tempo dat zo hoog als laag ligt als u zelf bepaalt. Echter, de toekomst begint vandaag.
We gaan graag met u in gesprek om de mogelijkheden voor uw organisatie te bespreken, en samen de juiste stappen te bepalen.
Verder praten over de mogelijkheden van een datawarehouse voor uw organisatie?
Plan dan vrijblijvend een kennismaking in en ontdek de mogelijkheden passend bij uw organisatie.
