Intergamma, het bedrijf achter de bekende doe-het-zelf-formules Gamma en Karwei, heeft meer dan 400 bouwmarkten en is een toonaangevende speler in de doe-het-zelfmarkt in Nederland en België. Ze hadden recent een migratie naar Snowflake afgerond, waardoor ze al een hoop informatie centraal beschikbaar hadden in een modern data platform in de cloud.
Uitdaging van klant
Ondanks dat de data in het data platform goed is gemodelleerd, liepen ze er tegenaan dat veel van de naamgeving van tabellen en kolommen van technische aard was. Daardoor was de inhoud van de gegevens voor de eindgebruiker niet direct duidelijk en moest er nog een vertaling plaatsvinden naar de namen en definities zoals deze door de business worden gebruikt. Deze vertaling vond voorheen plaats in de applicatie waarin zij hun rapportages maakten, wat betekende dat deze namen en definities niet beschikbaar waren toen er een nieuwe BI tool, Tableau, in gebruik werd genomen. Dit zorgde ervoor dat het relatief veel werk was om de gegevens als databronnen beschikbaar te maken in Tableau en dat daar ook meer technische kennis voor nodig was dan gewenst.
Om dit in de toekomst te voorkomen, benaderde Intergamma ons om een Semantische laag te implementeren. Een semantische laag in een datawarehouse is een zakelijke representatie van data die makkelijk te begrijpen is voor eindgebruikers. Het fungeert als een brug tussen de ingewikkelde technische datastructuren en de mensen die de data gebruiken voor analyses. Hiermee krijgen gebruikers heldere definities en een consistent begrip van de beschikbare data. Verder vroegen zij ons om deze gegevens als databronnen in Tableau beschikbaar te maken met als doel om deze te gebruiken voor Self-service BI, of Doe-het-zelf analytics zoals zij zeggen.
Visie op probleem
Visie op probleem
Bij een dataplatform waarin de grote hoeveelheid data uit verschillende bronsystemen wordt opgeslagen als bij Intergamma het geval is, wordt het vastleggen en onderhouden van definities vaak een uitdaging. De kracht van een centrale Semantische Laag is dat deze vertaling onderdeel wordt gemaakt van het dataplatform en onafhankelijk blijft van het gebruik door software voor Business Intelligence of Machine Learning. Door deze onafhankelijkheid wordt de wendbaarheid van een organisatie vergroot om van tools te wisselen of nieuwe tools in gebruik te nemen omdat het opnieuw vastleggen van definities, met eventuele verschillen tot gevolg, wordt voorkomen.
Het onderhouden van Tableau databronnen in een veranderend datalandschap kan veel tijd en handmatig werk kosten. Het datawarehouse van Intergamma is opgebouwd in feiten en dimensies, waarbij de dimensies in veel verschillende Tableau databronnen worden gebruikt. Iedere keer dat een nieuw feit wordt toegevoegd aan het datawarehouse en daarvoor een databron in Tableau klaargezet moet worden, zullen instellingen in Tableau als formatting, kleuren en eventueel calculated fields opnieuw moeten worden ingesteld.
Voordelen van Semantische Laag
- Centrale plek waar definities worden vastgelegd
- Wendbaarheid als organisatie om te wisselen van tools
- Eindgebruikers kunnen direct met de data aan de slag
- Interactie met Large Language Models mogelijk
Bij een dataplatform waarin de grote hoeveelheid data uit verschillende bronsystemen wordt opgeslagen als bij Intergamma het geval is, wordt het vastleggen en onderhouden van definities vaak een uitdaging. De kracht van een centrale Semantische Laag is dat deze vertaling onderdeel wordt gemaakt van het dataplatform en onafhankelijk blijft van het gebruik door software voor Business Intelligence of Machine Learning. Door deze onafhankelijkheid wordt de wendbaarheid van een organisatie vergroot om van tools te wisselen of nieuwe tools in gebruik te nemen omdat het opnieuw vastleggen van definities, met eventuele verschillen tot gevolg, wordt voorkomen.
Het onderhouden van Tableau databronnen in een veranderend datalandschap kan veel tijd en handmatig werk kosten. Het datawarehouse van Intergamma is opgebouwd in feiten en dimensies, waarbij de dimensies in veel verschillende Tableau databronnen worden gebruikt. Iedere keer dat een nieuw feit wordt toegevoegd aan het datawarehouse en daarvoor een databron in Tableau klaargezet moet worden, zullen instellingen in Tableau als formatting, kleuren en eventueel calculated fields opnieuw moeten worden ingesteld.
Hebben jullie ook moeite met uiteenlopende definities of om data beschikbaar te maken in Tableau?
Neem vrijblijvend contact op!
We hebben voor Intergamma een systeem ontwikkelt waarin definities en namen centraal worden vastgelegd, dat SQL views genereert met semantische vertalingen en deze volledig automatisch als databronnen klaarzet in Tableau.
Centrale Semantische Laag en Tableau automatiseringen
Stap 1
Definities centraal vastleggen
Om de Semantische Laag samen te kunnen stellen, moet de vertaling van technische naar voor de business duidelijke definities worden vastgelegd. Hiervoor lezen we de metadata van de tabellen in Snowflake uit en geven we gebruikers de mogelijkheid om de technische namen van een andere naam en een uitgebreide beschrijving te voorzien. Verder wordt ook vastgelegd of een veld bepaalde formatting in Tableau moet krijgen zoals een € bij bedragen of % bij percentages, dit wordt verderop in het proces gebruikt bij het klaarzetten van de Tableau databronnen.
Stap 2
Semantische Laag in Snowflake opnemen
De centraal vastgelegde definities worden vervolgens gebruikt door een maatwerk python oplossing om SQL code te genereren die views met vertaalde namen en de uitgebreide beschrijvingen als comments in Snowflake toevoegt. Door de Semantische Laag als SQL views te maken, worden alle definities direct als onderdeel van het data platform opgeslagen, zonder de gegevens te dupliceren waardoor de opslagkosten ongewijzigd blijven. Vervolgens kunnen alle data consumerende applicaties gebruik maken van dezelfde gegevens met aansluitende definities. Voordeel om de views te genereren is dat het wijzigen van definities en toevoegen van nieuwe semantische vertalingen volledig geautomatiseerd kan worden, zonder tussenkomst van een Data Engineer.
Stap 3
Automatisch Tableau databronnen maken en publiceren
De gegenereerde views vormen de basis van de Tableau databronnen. De data is zo gemodelleerd dat de dimensies met een enkele surrogaatsleutel aan de feiten te koppelen is. Onze oplossing in Python zorgt ervoor dat alle relaties tussen feiten en dimensies worden herkent, en samen als relaties in Tableau bronnen worden gezet en vervolgens gepubliceerd. Bij het samenstellen van de bronnen wordt automatisch de juiste formatting ingesteld voor velden, waardoor dit slechts één keer bepaald hoeft te worden bij het vastleggen van de definities en vervolgens overal hetzelfde is. De uitgebreide beschrijving van de velden wordt ook in de Tableau databronnen toegevoegd als een comment bij ieder veld, waardoor het voor de eindgebruiker makkelijk is om te achterhalen wat de exacte definitie is van het veld dat ze gebruiken.
Stap 4
Stap 5
Impact
Met onze oplossing worden momenteel 76 Tableau datasources bij Intergamma automatisch beheert.
Wanneer een nieuw feit in het datawarehouse wordt opgenomen, is het mogelijk om binnen tien minuten de definities vast te leggen en de desbetreffende Tableau datasource te publiceren zodat de eindgebruikers ermee aan de slag kunnen.
De Semantische Laag bronnen in Tableau, gecombineerd met Tableau trainingen voor de medewerkers van verschillende afdelingen bij Intergamma maken Doe-het-zelf analytics een werkelijkheid.
Het hebben van een Semantische Laag bereid ze ook voor om kansen te pakken op het gebied van Large Language Models waarbij ook voor een taalmodel de namen en omschrijvingen beschikbaar gemaakt kunnen worden.
Hebben jullie ook moeite met uiteenlopende definities of om data beschikbaar te maken in Tableau?
Neem vrijblijvend contact op!
