Kunnen Artificiële Intelligente systemen uitleggen hoe ze denken?

Vandaag konden we in De Morgen lezen:

Hoe komt artificieel intelligente (AI) software tot een beslissing? Een vraag waarop zelfs de knapste koppen ter wereld het antwoord schuldig moeten blijven. Konden AI-systemen maar verklaren hoe ze te werk gaan. [...]

Een vraag die ook Jonathan Berte van RoboVision bezighoudt. Zijn bedrijf schrijft slimme software die robots in staat stelt om sterke plantjes met camera's te herkennen en die vervolgens met robotarmen te planten. "Onze software kan in 50 seconden een nieuw soort plantje leren herkennen en beginnen te planten." In sommige gevallen neemt de robot een perfect plantje niet van de band en dan rinkelt de telefoon bij RoboVision met een vraag van de klant: "Waarom neemt de machine dat ene plantje niet op?" Berte moet het antwoord schuldig blijven. "Wij kunnen dat niet achterhalen. Onze machine denkt in beelden. We kunnen niet even vragen: waarom heb je dit plantje niet meegenomen? Er is een echt taalprobleem."

Dergelijke software leert plantjes te herkennen via voorbeelden van passende en niet passende plantjes. Die software imiteert de menselijke neurale netwerken (MNN) die de hersenen vormen: artificiële neurale netwerken (ANN). Als we de vraag willen stellen in welke mate ANN zouden kunnen uitleggen hoe ze denken, dan kunnen we ons inspireren over de mate waarin mensen kunnen uitleggen hoe ze denken. Laten iets eenvoudig nemen: je bent in staat om bepaalde kleuren te herkennen, en er een naam aan te geven. Maar geen mens kan zeggen door introspectie zeggen hoe die dat doet ! Misschien heb je kleuren ook geleerd met Smarties: telkens je het kleur juist geraden had mocht je het opeten. Als mens zou je nog kunnen zeggen: dit is rood, want het gelijkt op die Smarties die ik mocht opeten toen ik "rood" zei. En dat is iets wat we ook met die AI systemen kunnen: ze kunnen hun beslissing uitleggen door te zeggen dat ze gelijken op passende voorbeelden waarop ze getraind geweest zijn. Maar dat vereist wel dat je het systeem zo bouwt dat die leervoorbeelden toegankelijk blijven, net zoals je als mens je Smarties zou bewaren. De menselijke expert als 'supervisor' van het ANN kan dan het ANN bijtrainen door een juistere verzameling voorbeelden te geven.

Nu is plantjes herkennen wel meer dan enkel kleuren herkennen. Je herkent ook vormen zoals blaadjes, je kan het aantal blaadjes tellen... MNN en ANN leren complexere gehelen herkennen door deelkenmerken te herkennen. Als het ANN getraind is om deelkenmerken te herkennen, dan kan het ook aangeven welke deelkenmerken het herkend heeft.  

Er is nu wel een subtiliteit: als je een heel grote verzameling van passende en niet passende plantjes hebt, dan hoef je die deelkenmerken niet expliciet aan te leren: het ANN zoekt zelf deelkenmerken. Alleen kan het dan niet zelf aangeven wat die deelkenmerken zijn. Je zit dan in dezelfde situatie als dieren: een hond kan wel zijn eten vinden, maar kan hoegenaamd geen indicatie geven hoe hij dit doet. Wat zou je dan wel kunnen doen? Je kan de activiteit in de artificiële hersenen gaan meten door er sensoren in te steken, en na te gaan of die activiteit in bepaalde zones met bepaalde kenmerken overeen komen, zoals de vorm of het kleur. Of misschien kom je verrassende kenmerken tegen waar geen mens al aan gedacht heeft. Maar dat is in elk geval een monnikenwerk. Het goede nieuws is dat sensoren in ANN's steken een fluitje van een cent is, in tegenstelling tot in menselijke hersenen. Maar de vraag is of het sop de kolen waard is.

Maar kan dat monnikenwerk dan niet door een A.I. systeem gebeuren? Laten we daarvoor dat monnikenwerk even onder de loupe nemen. Het is de menselijke onderzoeker die kan zeggen: aha hier zit een zone in het ANN die ronde vormen herkent, en daar een zone die kleur herkent enz... Maar meer nog, de menselijke onderzoeker kan er woorden op kleven, precies omdat die taal kent. En de AI systemen kunnen dat nog altijd niet (en ik vermoed dat dit nog wel een heel tijdje zal duren). Als mensen een uitleg willen, dan willen ze meestal iets horen in taal uitgedrukt. En dat is zinnig als men tot een conclusie gekomen is door logisch te redeneren in een taal. Maar dat is vaak niet zo zinnig wanneer men iets herkend heeft via een mentaal proces dat geen woorden gebruikt heeft, wat we in Kennismanagement de tacite knowledge of stilzwijgende kennis noemen. Toch eisen we van mensen ook vaak een uitleg, waar die er niet is. We bedenken dan maar een uitleg. We verantwoorden ons, in plaats van een antwoord te (kunnen) geven. We doen dit veel meer dan we doorgaans beseffen.

Het is dan ook essentieel dat we beseffen dat elke uitleg een constructie is die vaak geen reconstructie is. En die constructie hangt af van wat we willen bereiken:

• gewoon leren uit vergissingen ?
• bewijzen dat het systeem voldoende performant is ?
• weten wie de schade moet betalen bij een vergissing ?
• ... 

En dat bepaalt hoe we de uitleg bouwen en wat het mag kosten.

We kunnen bv. een eenvoudige artificiële taal maken die kan helpen enkele zaken uit te leggen (bv. ik heb een rond rood voorwerp herkend), maar die ook niet meer kan dan dat. Dit gaat niet zo ver dat een systeem zichzelf begrijpt.