Wapeningsmachine die tegen ISIS leert, zal militaire commandoketens in verwarring brengen

Iedereen op internet had een geweldige tijd met Tay, de Twitter-robot van Microsoft die in een paar uur tijd een racistische holocaustontkenner werd (kwam toen terug en deed het opnieuw). Het bedrijf had een public relations flap gecreëerd - meer een incident dan een ramp - terwijl het publiek een object-les gaf over de voor- en nadelen van machine learning: automatisering kan patronen gebruiken om een ​​fascinerend effect bij snelheid te bereiken, maar de resultaten zullen voorspelbaar moeilijk te voorspellen zijn.

Zoals vaak het geval is, is het leger een vroege aannemer van automatiseringstechnologie. Het is - op een bepaald moment - leidend in de richting van machine learning en ook wanhopig proberen om bij te blijven. Een van de belangrijkste aandachtsgebieden voor het Pentagon zijn autonome robots en hoe ze zullen samenwerken met mensen - bijvoorbeeld een robotvlieger in R2D2-stijl. Maar deze week schetste vice-minister van Defensie Robert Work een andere taak voor A.I.: open-source data-crunching.

"We zijn er absoluut zeker van dat het gebruik van deep-learning machines ons in staat zal stellen om ISIL beter te begrijpen als een netwerk en een beter begrip te krijgen over hoe het precies kan worden gericht en kan leiden tot zijn nederlaag", aldus Secretary Work, volgens DoD's website. Volgens dat verslag, Work, die sprak tijdens een evenement georganiseerd door de Washington Post, had zijn epifanie tijdens het kijken naar een technologiebedrijf uit Silicon Valley dat demonstreerde "een machine die gegevens van Twitter, Instagram en vele andere openbare bronnen heeft opgenomen om de Maleisische vlucht 17-shoot-down van juli 2014 in real time weer te geven."

Particuliere bedrijven en wetshandhavers proberen al heel lang begrip te hebben voor 'big data'. Maar het leger heeft een voordeel: hulpbron. Ook hebben ze toegang tot geclassificeerde materialen.

De Amerikaanse overheid lijkt erop te wedden dat softwarematige algoritmen de enorme hoeveelheid gegevens kunnen analyseren om ISIS-doelen te identificeren die ze anders zouden hebben ontgaan en om plots te ontdekken en te verstoren voordat de planners ze kunnen uitvoeren. De overheid probeert nu al sociale media te bestuderen om de omvang van online protesten te voorspellen. Het lijdt geen twijfel dat machinaal leren intelligentieanalisten meer macht zal geven om inzicht te krijgen in de schat aan beschikbare informatie in de wereld. Maar wanneer die intelligentie de basis wordt waarop een dodelijke aanval wordt genomen, worden de ethische kwesties complexer, zelfs als ze eenvoudig lijken.

Hoewel Work snel zei dat het Pentagon geen "dodelijke autoriteit aan een machine zou delegeren", blijft dat het eindspel. In de tussentijd blijven mensen "in de lus", zoals het jargon gaat. Maar zoals iedereen die naar een iPhone heeft gekeken voor een weerbericht als hij naast een raam staat weet, zijn de relaties die we hebben met onze apparaten en software niet eenvoudig. We zijn problematisch gelovig en gemakkelijk afgeleid door UI-problemen.

'Automatiseringsvooroordeel', de neiging van mensen om zich uit te breiden naar machines, presenteert een duidelijk en steeds groter aanwezig gevaar. Het go-to-voorbeeld om dit fenomeen te illustreren is wanneer uw telefoon u vertelt om een ​​reisroute te nemen waarvan u weet dat die fout is, maar u doet het hoe dan ook, ervan uitgaande dat de telefoon iets moet weten dat u niet kent. Dit is een veel voorkomend probleem in niet-militaire contexten. Waar het Pentagon ook dichterbij lijkt te komen, zijn de dreigingsrapporten die zijn gecomponeerd door kunstmatige intelligentie. We weten niets van de potentiële doeltreffendheid van dit programma, behalve dat het voor de mens moeilijk te implementeren zal zijn.

In een paper uit 2001 waarin studenten en professionele piloten en automatiseringsbias werden bekeken, ontdekten de onderzoekers dat "in scenario's waarin correcte informatie beschikbaar was voor het controleren en detecteren van automatiseringsanomalieën, foutenpercentages van ongeveer 55% werden gedocumenteerd in beide populaties." dat het toevoegen van een extra menselijke teamgenoot het probleem niet verlichtte.

Op dezelfde manier ontdekte een MIT-studie van vorig jaar enigszins verontrustend dat computer- en videospelspelers een 'hogere neiging hadden om automatisering te overtuigen'. Dat zou kunnen betekenen dat hoe meer tijd we besteden aan het kijken naar onze schermen, hoe meer we vertrouwen op wat we zien. Nogmaals, het probleem zit niet in de systemen die we gebruiken, maar in de manier waarop we ze gebruiken. De fout zit niet in onze sterren, maar in onszelf.

Big data blijft veelbelovend. Machine learning blijft veelbelovend. Maar als machines mensen adviseren, zijn de resultaten voorspelbaar onvoorspelbaar. Verandert de transformatie van Tay tot een neo-nazi-vrouwenhater dat Twitter joden en vrouwen haat? Het is moeilijk om te weten, maar redelijk onwaarschijnlijk. Wanneer we het proces niet begrijpen door de manier waarop inputs uitgangen worden, worstelen we om de resultaten op een rationele manier aan te pakken. Dat plaatst het Pentagon in een interessante positie. Zijn de mensen die de software voor het leren van het leger programmeren degenen die luchtaanvallen gaan sturen? Dat is niet hoe Chain of Command werkt, maar Commandostructuur raken verward wanneer technologie betrokken raakt.