A.I. Expert Virginia Dignum: Trolleyprobleem toont waarom we transparantie nodig hebben

Kunstmatige intelligentie heeft transparantie nodig, zodat mensen het ter verantwoording kunnen roepen, heeft een onderzoeker beweerd. Virginia Dignum, universitair hoofddocent aan de Technische Universiteit Delft, vertelde vrijdag aan de New York University dat als we niet begrijpen waarom machines doen zoals ze doen, we hun beslissingen niet kunnen beoordelen.

Dignum citeerde een verhaal van David Berreby, een schrijver en onderzoeker van wetenschap, die werd gepubliceerd in Psychologie vandaag: "Er zijn aanwijzingen dat wanneer mensen met machines werken, ze minder gevoel van keuzevrijheid hebben dan wanneer ze alleen werken of met andere mensen werken."

Het 'trolleyprobleem', legde Dignum uit, is een gebied waar mensen blind vertrouwen kunnen stellen in een machine om het juiste resultaat te kiezen. De vraag is of de hendel op een hypothetische weggelopen trein moet worden geschakeld zodat deze één persoon doodt in plaats van vijf. Mensen verwachten dat machines het probleem op de meest rationele manier oplossen. Dat is misschien niet altijd het geval, en transparantie zou helpen verklaren hoe de machine tot zijn besluit is gekomen.

"Het is niet alleen een heel diepe, neurale netwerkketen van gebeurtenissen die niemand kan begrijpen, maar om die verklaringen te maken op een manier die mensen kunnen begrijpen," zei ze.

A.I. dat maakt zijn werking duidelijk is een gebied dat DARPA heeft onderzocht. Het bureau plaatste in augustus een aankondiging dat het op zoek was naar teams die geïnteresseerd zijn in verklaarbare A.I. projecten, bekend als XAI. Deze systemen zullen onderzoekers helpen begrijpen waarom een ​​A.I. nam de beslissing dat het gebeurde en gaf meer ruimte om te beslissen wat te doen met de resulterende informatie dan blindelings op de machine te vertrouwen.

Met machine learning merkte Dignum op dat transparantie belangrijker is dan ooit. "We kunnen niet verwachten dat de systemen, en vooral de machines om machines te leren, het allemaal meteen kunnen leren en weten," zei ze. "We verwachten niet dat onze chauffeurs tijdens het rijden volledig op de hoogte zijn van de verkeersregels. In veel landen gebruiken ze die "L" -platen om te laten zien: "Ik leer, excuseer me voor de fouten die ik zou kunnen maken." "Kijken naar AI, begrijpen hoe het komt tot bepaalde beslissingen en handelen op basis van dat zal cruciaal zijn voor stoppen van machines die nog steeds leren van het nemen van slechte beslissingen.