Zullen Autonome Wapens "nee" zeggen tegen illegale bestellingen?

Baynazar Mohammad Nazar was bewusteloos op de operatietafel toen het plafond in hem begon in te storten. De vader van vier personen had de vorige dag in het ziekenhuis ingecheckt nadat hij in het been was geschoten en onderging zijn tweede operatie in twee dagen om zijn blessure op te lossen. Toen de Amerikanen het gebouw begonnen te vernietigen, hadden de artsen die aan hem werkten geen andere keuze dan alleen te ontsnappen zo snel als ze konden.

Andrew Quilty at Buitenlands beleid vertelt het verhaal van Baynazar's leven en dood in een artikel met een foto van zijn lichaam bedekt met puin op de operatietafel. Baynazar was een van de 31 mensen die de Verenigde Staten omkwamen toen ze op 2 oktober het ziekenhuis van Artsen zonder Grenzen (ook AZG) in Kunduz, Afghanistan, doodden.

Na spraakmakende stakingen van hoogambtaanslachtoffers vragen politici en experts zich af hoe zoiets kan gebeuren en wat er kan worden gedaan om ervoor te zorgen dat het niet opnieuw gebeurt. Onder voorstanders van autonome wapensystemen, soms "killer-robots" genoemd, is een populair argument dat menselijke fouten (of boosaardigheid) verantwoordelijk zijn voor een groot deel van de misdaden die in oorlogstijd zijn gepleegd. Het is theoretisch mogelijk, zeggen ze, dat robots nauwkeuriger kunnen zijn in hun doelgerichtheid en minder vatbaar voor fouten dan mensen.

"In feite kan menselijk oordeel minder betrouwbaar zijn dan technische indicatoren in het heetst van de strijd", schrijft Michael N. Schmitt, een professor aan het US Naval War College. "Degenen die anders geloven hebben niet de mist van oorlog ervaren."

Amerikaanse luchtaanval op AZG-ziekenhuis in Afghanistan 'voornamelijk veroorzaakt door menselijke fouten' http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph Nieuws (@ TelegraphNews) 25 november 2015

De vraag is dan: kun je oorlogstools programmeren om menselijk gedrag te beperken om stakingen zoals de Kunduz ziekenhuisbombardementen onmogelijk te maken, of op zijn minst minder waarschijnlijk?

Waarschijnlijk niet - althans niet voor de nabije toekomst. Maar sommige programmeurs van kunstmatige intelligentie hebben een robot ontworpen die nee kan zeggen tegen de mens. Het ontwerp van het experiment is simpel: de mens vertelt een robot om van een tafel naar voren te lopen, wat de robot aanvankelijk weigert te doen. Wanneer de mens de robot vertelt dat hij hem zal pakken, accepteert de robot de opdracht.

Dat is nog ver verwijderd van een semi-autonome aanvalshelikopter die zijn menselijke bemanning vertelt dat het geen luchtaanval tegen een ziekenhuis kan uitvoeren omdat het een oorlogsmisdaad zou zijn, maar de onderliggende premisse is grotendeels hetzelfde. Zoals anderen hebben opgemerkt, is menselijke bezorgdheid over deze zeer specifieke ontwikkeling in robots gebruikelijk in sciencefiction - denk HAL-9000 zeggend: "Dat kan ik niet doen, Dave" wanneer het de mens buiten het ruimtestation vergrendelt in 2001: A Space Odyssey.

Wat betreft de details van de Kunduz-aanval, veel van de feiten rond de aanval blijven betwist. Artsen zonder Grenzen heeft een onafhankelijk onderzoek geëist, waar de Amerikaanse regering bezwaar tegen maakt, in plaats daarvan belooft het zijn eigen beoordelingen uit te voeren.

Sommige delen van een Amerikaans onderzoek werden eerder deze maand bekendgemaakt en vonden menselijke en mechanische fouten die verantwoordelijk waren voor de staking. Maar eerder deze week kwamen twee servicemedewerkers naar voren om de bevindingen van het rapport tegenspreken. Ze zeggen dat de aanval geen vergissing was. In hun boekhouding, voor het eerst gerapporteerd door AP, Vroegen speciale Amerikaanse strijdkrachten de staking omdat ze door het ziekenhuis werden gebruikt als een commando- en controlecentrum van de Taliban.

In de officiële versie leidde een mechanische storing ertoe dat de bemanning van het AC-130 gunship aanvankelijk coördinaten kreeg voor een leeg veld. De bemanning zocht vervolgens naar een gebouw in het gebied dat paste bij de fysieke beschrijving die ze hadden gekregen, en opende het vuur. Toen hun instrumenten opnieuw werden gekalibreerd, gaven ze de bemanning de juiste coördinaten voor hun doelwit, maar de bemanning bleef hoe dan ook doorgaan met schieten op het ziekenhuis.

Als dit account waar is - dat de computer uiteindelijk correct was en de mensen het negeerden - geeft dit enige geloofwaardigheid aan supporters van grotere autonomie in wapensystemen. Dat gezegd hebbende, is de Amerikaanse war on terror bezaaid met voorbeelden van het leger of de CIA die het "juiste" doelwit troffen en uiteindelijk toch enorme aantallen burgers doodden. Automatisering zal slechte intelligentie niet oplossen en pogingen om een ​​benadering van moraliteit te programmeren zullen geen einde maken aan oorlogsmisdaden.

Er is een sterke verleiding in de Verenigde Staten om oorlog en automatisering te steriliseren door Amerikanen te verwijderen van de weg van schade, die is voorbestemd om de definitie van oorlog te veranderen. Obama's voorkeur voor drone-moord en de bijbehorende garanties dat drones de meest precieze wapens zijn die ooit zijn gemaakt, zijn de duidelijkste manifestatie van die doelen. "Ze zijn precieze, precieze aanvallen geweest tegen Al Qaeda en hun gelieerde ondernemingen," zei Obama in een Google-ontmoetingsplaats in 2012.

Een overheidsonderzoek uit 2013 contrasteert deze beweringen echter. Het bleek dat drones in Afghanistan tien keer zoveel burgerslachtoffers als onbemande voertuigen veroorzaakten. "Drones zijn niet magisch beter in het vermijden van burgers dan straaljagers," vertelde Sarah Holewinski, een co-auteur van het onderzoek, The Guardian. "Toen piloten met straalvliegtuigen duidelijke richtlijnen kregen en training kregen over civiele bescherming, konden ze het aantal burgerslachtoffers verlagen."

Het leger geeft miljoenen uit aan de ontwikkeling van mens-robotteamsystemen, waardoor de scheidslijn tussen missies van bemande of onbemande wapens verder vervaagt. "Wat we willen doen op het gebied van mens-machine gevechtsteams, is om het naar een hoger niveau te tillen, om te kijken naar zaken als zwermende tactieken," vertelde vice-minister van Defensie Bob Work aan het officiële blog over de DoD-wetenschap. "Kan een F-35 het opnemen tegen vier onbemande wingmen?"

Zullen die wingmen nee zeggen als de menselijke piloot hen een order geeft die analoog is aan het aflopen van een tafel? Hoe zit het met een bevel om een ​​ziekenhuis of school te vernietigen? De mist van oorlog zal in beide gevallen gelden. En als we besluiten machines te negeren, zal de uitdrukking 'menselijke fout' een van de angstaanjagende termen zijn in conflicten van de toekomst.