Slimme luidsprekers kunnen worden gehackt door geluid, zeggen onderzoekers om het te stoppen

Wat als we je zouden vertellen dat een hacker je Amazon Echo een opdracht kan geven zonder dat je het merkt, of zelfs moet hacken als we er normaal aan denken?

Moustafa Alzantot, een Ph.D. Kandidaat aan de Universiteit van Californië, Los Angeles, zegt dat het theoretisch mogelijk is voor een kwaadwillende acteur om een ​​bepaald geluid of signaal te verzenden dat normaal gesproken volledig onopgemerkt zou blijven door mensen, maar de algoritmen van de A.I.-leerprogramma's zou doen haperen.

"Een voorbeeld van een aanval is het besturen van je thuisapparaat, zonder dat je weet wat er gebeurt," vertelt Alzantot omgekeerde. "Als je wat muziek op de radio speelt en je een Echo in je kamer hebt zitten. Als een kwaadwillende acteur in staat is om een ​​bewerkt audio- of muzieksignaal uit te zenden zodat de Echo het als een commando zal interpreteren, zou dit de aanvaller in staat stellen te zeggen, een deur te ontgrendelen of iets te kopen."

Het is een aanval die bekend staat als een contradictoir voorbeeld en het is wat Alzantot en de rest van zijn team willen stoppen, zoals beschreven in hun artikel dat onlangs werd gepresenteerd tijdens de NIPS 2017 Machine Deception-workshop.

A.I. is niet anders dan de menselijke intelligentie die het in de eerste plaats heeft gecreëerd: het heeft zijn gebreken. Onderzoekers in de informatica hebben manieren bedacht om deze systemen volledig voor de gek te houden door lichtjes de pixels in een foto te veranderen of vage geluiden aan audiobestanden toe te voegen. Deze kleine tweaks zijn volledig onzichtbaar voor de mens, maar veranderen volledig wat een A.I. hoort of ziet.

"Deze algoritmen zijn ontworpen om te proberen te classificeren wat er werd gezegd, zodat ze daarop kunnen reageren", vertelt Mani Srivastava, een computerwetenschapper aan de UCLA. omgekeerde. "We proberen het proces te ondermijnen door de invoer zo te manipuleren dat een mens in de buurt" nee "hoort, maar de machine hoort 'ja'. Dus je kunt het algoritme dwingen om het commando anders te interpreteren dan wat er werd gezegd."

De meest voorkomende voorbeelden van tegenspraak zijn die met betrekking tot beeldclassificatiealgoritmen, of het tweaken van een foto van een hond, enigszins zo dat het A.I. denk dat het iets heel anders is. Alzantot en Srivastava's onderzoek hebben aangetoond dat spraakherkenningsalgoritmen ook gevoelig zijn voor dit soort aanvallen.

In de paper gebruikte de groep een standaard spraakclassificatiesysteem dat te vinden was in de open source-bibliotheek van Google, TensorFlow. Hun systeem was belast met het classificeren van commando's van één woord, dus het zou naar een audiobestand luisteren en het proberen te labelen met het woord dat in het bestand stond.

Vervolgens codeerden ze een ander algoritme om het TensorFlow-systeem te misleiden met behulp van voorbeelden uit de praktijk. Dit systeem was in staat om de spraakclassificatie A.I. voor de gek te houden. 87 procent van de tijd gebruikmakend van wat bekend staat als een black box-aanval, waarbij het algoritme zelfs niets hoeft te weten over het ontwerp van wat het aanvalt.

"Er zijn twee manieren om dit soort aanvallen op te zetten", legt Srivastava uit. "Een daarvan is wanneer ik als tegenstander alles weet over het ontvangende systeem, zodat ik nu een strategie kan bedenken om die kennis te exploiteren, dit is een witte doosaanval. Ons algoritme vereist niet dat we de architectuur van het slachtoffermodel kennen, waardoor het een black box-aanval wordt."

Duidelijk Black Box-aanvallen zijn minder effectief, maar ze zijn ook wat waarschijnlijk zou worden gebruikt bij een echte aanval. De UCLA-groep was in staat om zo'n hoog succespercentage van 87 procent te behalen, zelfs als ze hun aanval niet aanpasten om zwakke punten in hun modellen te misbruiken. Een witte doosaanval zou des te effectiever zijn om te knoeien met dit type A.I. Virtuele assistenten zoals Alexa van Amazon zijn echter niet de enige dingen die kunnen worden uitgebuit met behulp van voorbeelden uit de praktijk.

"Machines die afhankelijk zijn van het maken van een soort van gevolgtrekking van geluid kunnen voor de gek gehouden worden", zei Srivastava. "Het is duidelijk dat de Amazon Echo en zo een voorbeeld is, maar er zijn een heleboel andere dingen waar geluid wordt gebruikt om conclusies over de wereld te maken. Je hebt sensoren gekoppeld aan alarmsystemen die geluid opnemen."

Het besef dat kunstmatige intelligentiesystemen die audiosignalen opvangen ook vatbaar zijn voor tegenstrijdige voorbeelden, is een stap verder in het realiseren van hoe krachtig deze aanvallen zijn. Hoewel de groep niet in staat was om een ​​uitgezonden aanval te lanceren zoals beschreven door Alzantot, zal hun toekomstige werk draaien rond zien hoe haalbaar dat is.

Hoewel dit onderzoek slechts beperkte spraakopdrachten en vormen van aanvallen testte, benadrukte het een mogelijke eerbiedwaardigheid in een groot deel van de consumententechnologie. Dit fungeert als een opstap voor verder onderzoek in het verdedigen van tegenstrijdige voorbeelden en het onderwijzen van A.I. hoe ze uit elkaar te houden.