Is Copilot voor Power BI een volwassen tool en hoe bruikbaar is het?

Copilot voor Microsoft Fabric is sinds juni 2024 algemeen beschikbaar in Power BI.

Tijdens introductie waren er hoge verwachtingen! In verschillende artikelen, guides en tutorials werden de mogelijkheden van Copilot omschreven als “Insane amazing” en het zou nu mogelijk moeten zijn om “stunning Power BI report pages” te kunnen creëren met Copilot.

Dit soort teksten mag je verwachten van een marketingafdeling, dus het is altijd goed om kritisch te blijven en zelf te testen.

Generative AI biedt echter veel mogelijkheden om je productiviteit te verhogen. En de door Microsoft genoemde functionaliteit ziet er veelbelovend uit. Binnen Riviq vonden we het daarom hoog tijd om zelf die functionaliteit uit te proberen en enkele testen uit te voeren.

In dit artikel beschrijven we hoe we Copilot voor Fabric in Power BI hebben ervaren.

Wij hebben onze testen uitgevoerd in augustus 2024. Dit artikel is geschreven in september 2024, na de publicatie van de Power BI September 2024 Feature Summary.

Wat is Copilot voor Microsoft Fabric in Power BI?

Net als de andere Copilot producten van Microsoft gebruikt het de generative AI-tools van OpenAI. Het heeft net als ChatGPT een chat interface waarmee je informatie kan opzoeken en content kan creëren op basis van prompts.

Copilot voor Fabric geeft je daarbij de mogelijkheid om jouw eigen data, bijvoorbeeld de data in een Data Factory, te analyseren. In Power BI biedt Copilot verschillende mogelijkheden om je te ondersteunen bij het creëren en gebruiken van rapporten.

Het maakt gebruik van data en metadata in je semantische model, waardoor Copilot output kan genereren die relevant is voor het rapport waarmee je werkt. Op deze manier kan het antwoorden geven op bijvoorbeeld vragen over je data en kan het vervolgens DAX-code, visuals en zelfs hele rapportpagina’s voor je creëren.

Wat is er nodig om Copilot te gebruiken in Power BI?

Technische randvoorwaarden

Toegang tot schrijfrechten in een Workspace met Power BI Premium capacity of Microsoft Fabric capacity van F64 (Capacity Units) of hoger. De kosten van het gebruik van Copilot zijn afhankelijk van het gebruik van de licentie die je hebt aangeschaft.
–> Copilot voor Microsoft Fabric wordt niet ondersteund op trial capacities; ook niet als dit een F64 SKU is.

De administrator moet Copilot aanzetten in Microsoft Fabric, de tenant swich moet worden aangezet.
–> Let op bij het gebruik van gevoelige data. Microsoft claimt dat zij gegevens niet delen met een derde partij en dat ze klantgegevens niet gebruiken om Copilot of de AI-functies ervan te trainen of te verbeteren. Veel organisaties die met gevoelige data werken doen echter nog onderzoek om erachter te komen of de tool echt veilig is.

Om een samenvatting te kunnen weergeven van het onderliggende semantische model hebben gebruikers van rapporten in Power BI service tenminste leesrechten nodig tot de workspace of toegang tot een app.
–> Om een samenvattingsvisual te kunnen toevoegen aan het rapport zelf of om rapportpagina’s te maken hebben Power BI Service gebruikers bewerkingsrechten nodig tot de workspace.

Aanbevelingen voor het gebruik van Copilot in Power BI

Om Copilot in Power BI goed voor je te laten werken en om bruikbare resultaten te verkrijgen is het belangrijk om je semantische model geschikt te maken voor Copilot.

Denk aan:

• Logische en duidelijk gespecificeerde relaties tussen tabellen
• Een stermodel met feiten- en dimensietabellen
• DAX measures die voldoen aan best practices
• Namen voor measures, kolommen en tabellen moeten duidelijk aangeven wat er wordt berekend en wat het doel van deze attributen is. –> Copilot begrijpt (nog) niet dat een afkorting als AVG staat voor een average
• Measures voor KPI’s die relevant zijn voor de businesscontext (bijvoorbeeld “Return on Investment) en veelgebruikte berekeningen als “Year To Date Sales”, “Month Over Month Growth”
• Hiërarchieën voor dimensietabellen
• Kolommen in het juiste data-type
• Goed ingerichte ‘role level security’
• Voorzie gebruikers van informatie over actualiteit van de data en documentatie over structuur van het datamodel (bijvoorbeeld: modeldiagram of een data dictionary)

Al deze aanbevelingen zijn overigens ook van toepassing als je niet van plan bent om Copilot te gaan gebruiken. Alle bovenstaande punten bevorderen de bruikbaarheid en begrijpelijkheid van je semantische model.

Verschillen in mogelijkheden met Copilot in Power BI online VS desktop

Als gebruiker heb je in de Power BI online service net iets minder mogelijkheden tot je beschikking dan in Power BI desktop versie.

Welke functionaliteit hebben we getest?

Met ons interne Power BI competence team hebben we voor acht verschillende scenario’s getest hoe Copilot je kan helpen bij het werken met Power BI.

1. Een samenvatting genereren van onderliggende semantische model
2. Inhoud voorstellen voor een rapport
3. Een rapportpagina genereren
4. Een samenvatting van een rapport genereren in het Copilot deelvenster
5. Vragen stellen aan Copilot over gegevens in het model
6. Een samenvattingsvisual maken (visual in het rapport zelf)
7. Toevoegen van beschrijvingen aan measures
8. Genereren van DAX-query’s

1 Een samenvatting genereren van onderliggende semantische model

Functionaliteit
Geeft een samenvatting van je semantische model weer in het Copilot deelvenster.

Resultaten
De samenvatting geeft een overzicht van het type data en vermeldt het aantal transacties, klantsegmenten, de totale omzet en de gemiddelde prijs.

2 Inhoud voorstellen voor een rapport

Functionaliteit
Copilot doet suggesties voor de opbouw van een rapport: uit welke pagina’s zou het moeten bestaan en welke informatie zou het kunnen bevatten. Dit kan je helpen bij het bedenken van invalshoeken voor het analysen van het datamodel en het ontwikkelen van een rapport.

Resultaten
Voor deze sales dataset suggereert Copilot om pagina’s te creëren met o.a. een sales performance analysis en consumer behavior insights. Copilot creëert ook prompts voor een verdere analyse van je dataset. Die prompts kun je naar eigen inzicht aanpassen.

3 Een rapportpagina genereren

Functionaliteit
Op basis van de prompts die je aanlevert genereert Copilot een pagina met verschillende visuals.

Resultaten
Copilot genereert een pagina met een titel, slicers, cards, verschillende grafieken en een tabel. De visuals op de pagina zijn netjes uitgelijnd.

4 Een samenvatting van een rapport genereren in het Copilot deelvenster

Functionaliteit
Naast het genereren van een samenvatting van het onderliggende semantische model, kan Copilot dit ook doen voor het rapport zelf.
Je kan deze samenvatting verfijnen door middel van het aanpassen van je prompts. Ook kun je vragen stellen over specifieke visuals in je rapport.

Resultaten
Copilot geeft een beschrijving van het type data dat je rapport bevat en somt enkele totaalbedragen op. Verder probeert het wat inzichten op te halen uit de visuals in je rapport.

Het handige daarbij is dat Copilot verwijst naar deze visuals. Door te klikken op die verwijzingen navigeer je naar de betreffende visual op het rapport. Je kunt Copilot ook vragen om de omschrijving weer te geven in het Nederlands.

5 Vragen stellen aan Copilot over gegevens in het model

Functionaliteit
Copilot gebruikt de measures en kolommen in jouw semantische model om je te helpen bij het analyseren van je data. Bij het beantwoorden van vragen controleert Copilot ook of de antwoorden gevonden kunnen worden in één van de visuals van je rapport.

Mocht het zo zijn dat deze visuals nog niet voorkomen in het rapport, dan kan Copilot deze visuals voor je genereren.

Resultaten
Copilot probeert het antwoord op jouw vragen te vinden in het model. Als Copilot daar getallen bij noemt, dan legt het ook uit op welke manier dit wordt berekend. Copilot benoemt daarbij niet altijd welke kolommen worden gebruikt voor die berekening (bijvoorbeeld welke datum kolom).

6 Een samenvatting visual maken (visual in het rapport zelf)

Functionaliteit
Je kan een visual creëren in je rapport om daarin een samenvatting weer te geven van het hele rapport, specifieke pagina’s of specifieke visuals.

Resultaten
De resultaten zijn hetzelfde als bij de functie voor het genereren van een samenvatting in het Copilot deelvenster (4e test).

7 Toevoegen van beschrijvingen aan measures

Functionaliteit
Copilot kan beschrijvingen toevoegen aan measures. Gebruikers van een semantisch model kunnen met behulp van deze beschrijvingen zien wat er in de measure wordt berekend.

Resultaten
De beschrijvingen vertellen in vrij algemene termen wat er in de measures wordt berekend. Verder zijn te weinig specifiek om ze te kunnen gebruiken als een goede definitie voor gebruikers van het semantische model.

8 Genereren van DAX-query’s

Functionaliteit
Copilot kan DAX-query’s schrijven op basis van de prompts die je invult. Ook kun je Copilot vragen hoe de query is opgebouwd.

Resultaten
Een query die je vervolgens ook direct kunt uitvoeren. De gegenereerde query wordt voorzien van comments waarin de opgegeven prompts worden weergegeven.

Wat kan (nog) niet?

Het is niet mogelijk om al de bestaande visuals aan te laten passen door Copilot. Als je de door Copilot gecreëerde visuals en pagina’s wil aanpassen, dan moet je dat nog steeds handmatig doen.

Conclusie en aanbevelingen

Copilot voor Microsoft Fabric in Power BI lijkt nog niet volwassen te zijn en je bent sterk afhankelijk van de mate van complexiteit van je semantische model.

In de praktijk zijn veel semantische modellen een stuk complexer dan het model waarmee wij onze testen hebben uitgevoerd. Zelfs bij dit model riepen de door Copilot gegeneerde resultaten vragen op.

1. Bij het inzetten van een tool als Copilot is het belangrijk om te bedenken voor welk doel je het wil inzetten en of dit doel waardevol genoeg is om de licentiekosten ervan te willen betalen.

2. Copilot lijkt goed bruikbaar te zijn om een gevoel te krijgen bij de data en wat er in het semantische model te vinden is. Ook kan het je helpen bij het schrijven of leren begrijpen van DAX-query’s.

3. Verder kan Copilot je helpen bij het creëren van een eerste versie van je rapport. Automatisch gegenereerde visuals en pagina’s zijn meer een startpunt dan een direct bruikbaar eindresultaat.
De beschrijvingen van measures vertellen in algemene termen wat er in de measures wordt berekend. De beschrijvingen zijn te weinig specifiek om ze goed te kunnen gebruiken als een definitie voor gebruikers van een semantisch model.

De belangrijkste conclusie is dat de door Copilot gegenereerde resultaten niet per definitie de juiste resultaten zijn. Dit is misschien niet zo erg als je Copilot slechts gebruikt om een eerste indruk te krijgen van de inhoud van je semantische model.

Als je Copilot echter ook wil laten bepalen welke inhoud er wordt getoond in een visual in je uiteindelijke rapport, dan geeft je daarmee ook de inhoud van je rapport uit handen. Je weet niet welke tekst en getallen de gebruiker te zien krijgt en je weet ook niet of deze informatie juist is.

Uiteraard wil je niet dat de gebruikers van een rapport beslissingen nemen op basis van cijfers die niet kloppen.

Elke dag betere beslissingen; uitsluitend op basis van de juiste informatie!

Meer over dit onderwerp