Bij het ontwikkelen van Machine Learning modellen kunnen we vaak tijdens de trainingsfase opmerkelijke resultaten bereiken die ontzettend veel waarde kunnen toevoegen aan een organisatie. In sommige gevallen zoeken we echter niet alleen voorspellende kracht, maar ook verklarende kracht in een model.

De vraag naar interpreteerbare modellen ontstaat wanneer het in het model opgenomen optimalisatie-vraagstuk niet of niet volledig overeenkomt met de doelstellingen die in een project worden nagestreefd. Een voorbeeld hiervan is te vinden bij een algoritme dat wordt gebruikt om recruitmentbeslissingen te ondersteunen. Deze moet naast het effectief matchen van kandidaten aan functies, dit ook op een manier doen die ethisch is en voldoet aan de Europese richtlijnen. Deze richtlijnen stellen dat aan de kandidaat uitgelegd moet kunnen worden waarom het algoritme een bepaalde keuze over hem of haar heeft gemaakt.

Het kunnen interpreteren van modellen is ook belangrijk om problemen tegen te gaan die veroorzaakt zijn door bias in de dataset. Een beroemd voorbeeld hiervan is het Cost-Effective HealthCare project. In dit project werd een model getraind om te bepalen of een patiënt met longontsteking veilig naar huis gestuurd kon worden met een antibioticakuur, of dat hij of zij moest worden opgenomen in het ziekenhuis. De eerste resultaten van het model waren uitstekend. Bij nadere inspectie bleek echter dat het model patiënten met astma altijd naar huis stuurde, terwijl zij in de praktijk juist een hoog risico op complicaties hebben. Het model maakte deze beslissing omdat astmapatiënten met longontsteking standaard werden opgenomen op de intensive care, waardoor hun overlijdensrisico erg laag was. Het model associeerde astma vervolgens met een laag risico, terwijl het causale verband juist omgedraaid is.

De vraag naar interpreteerbare modellen ontstaat wanneer het in het model opgenomen optimalisatie-vraagstuk niet of niet volledig overeenkomt met de doelstellingen die in een project worden nagestreefd. Een voorbeeld hiervan is te vinden bij een algoritme dat wordt gebruikt om recruitmentbeslissingen te ondersteunen. Deze moet naast het effectief matchen van kandidaten aan functies, dit ook op een manier doen die ethisch is en voldoet aan de Europese richtlijnen. Deze richtlijnen stellen dat aan de kandidaat uitgelegd moet kunnen worden waarom het algoritme een bepaalde keuze over hem of haar heeft gemaakt.

Het kunnen interpreteren van modellen is ook belangrijk om problemen tegen te gaan die veroorzaakt zijn door bias in de dataset. Een beroemd voorbeeld hiervan is het Cost-Effective HealthCare project. In dit project werd een model getraind om te bepalen of een patiënt met longontsteking veilig naar huis gestuurd kon worden met een antibioticakuur, of dat hij of zij moest worden opgenomen in het ziekenhuis. De eerste resultaten van het model waren uitstekend. Bij nadere inspectie bleek echter dat het model patiënten met astma altijd naar huis stuurde, terwijl zij in de praktijk juist een hoog risico op complicaties hebben. Het model maakte deze beslissing omdat astmapatiënten met longontsteking standaard werden opgenomen op de intensive care, waardoor hun overlijdensrisico erg laag was. Het model associeerde astma vervolgens met een laag risico, terwijl het causale verband juist omgedraaid is.

Transparante modellen

Wanneer we op zoek zijn naar interpreteerbare modellen, zijn we eigenlijk op zoek naar transparante modellen. Transparante modellen maken het namelijk mogelijk om voor het hele model of voor stukjes ervan te verklaren wat het model doet. Voorbeelden hiervan zijn de gewichten van parameters in een lineaire regressie of de individuele beslissingen die worden gemaakt binnen een beslisboom.

Een probleem met het streven naar transparante modellen is echter dat deze in de praktijk vaak een (veel) lagere voorspellende kracht hebben dan complexere modellen. Zo wordt de gemakkelijk te interpreteren beslisboom in de praktijk vaak gecombineerd met duizenden andere bomen om de voorspellende kracht van het model te verhogen, waarbij de transparantie verloren gaat.

Zelfs als we besluiten om genoegen te nemen met een slechter voorspellend model kunnen we nog bedrogen uitkomen. De gewichten van een lineair model lijken bijvoorbeeld op het eerste gezicht eenvoudig te interpreteren, maar kunnen sterk afhankelijk zijn van feature selection en eventuele feature engineering stappen voorafgaand aan het trainen van het model. Zo kunnen we bijvoorbeeld voor een griep-risico dataset zowel een positief als negatief verband zien tussen vaccinaties en het ziekterisico, afhankelijk van de opgenomen variabelen zoals leeftijd.

Post-hoc analyses

Als we geen genoegen kunnen nemen met slechtere modelprestaties, kunnen we modellen interpreteren door middel van post-hoc analyses. Hierbij proberen we om informatie te verkrijgen uit een geleerd model, zonder daarbij precies te verklaren hoe het model werkt. Zo kun je denken aan visualisaties die gemaakt kunnen worden van filters in deep learning modellen, maar ook aan model-onafhankelijke methoden zoals lime.

Bij deze manier van interpreteren hoeven we minder concessies te doen met betrekking tot de voorspellende kracht van het model, met als nadeel dat de volledigheid van de verklaring over het algemeen verloren gaat.

Discussie

Het mag duidelijk zijn dat de zoektocht naar de verklarende kracht van een model geen simpele is. Interpreteerbaarheid van modellen ontstaat niet automatisch bij de ontwikkeling van een Machine Learning model. Bijna altijd moeten er afwegingen worden gemaakt tussen de voorspellende kracht van een model, de verklarende kracht van een model en de tijd die beschikbaar is om het model achteraf te doorgronden.

Het is dan ook belangrijk om stil te staan bij de reden dat we naar Machine Learning grijpen in plaats van naar vuistregels: De hypothesen die we proberen te ontdekken zijn vaak veel ingewikkelder dan beslisregels waar we intuïtief op uit kunnen komen. Het is dan ook vanzelfsprekend dat de verklarende kracht van deze modellen lager zal zijn. De vraag naar interpreteerbare modellen is echter vaak gegrond. We zullen ons dan ook in elk afzonderlijk geval moeten afvragen waar de vraag naar interpreteerbaarheid vandaan komt, welke vorm van interpreteerbaarheid belangrijk is, hoe we die kunnen bereiken en wat we bereid zijn om op te geven om dit te kunnen bereiken.

meer over dit onderwerp