Deepfakes zijn geen match voor machine learning - hier is waarom

Een nieuwe vorm van verkeerde informatie is klaar om zich via online communities te verspreiden, naarmate de campagnes voor de tussentijdse verkiezingen in 2018 op gang komen. Genaamd "deepfakes" naar het pseudonieme online account dat de techniek populariseerde - die mogelijk zijn naam heeft gekozen omdat het proces een technische methode gebruikt die "deep learning" heet - deze nep-video's zien er heel realistisch uit.

Tot nu toe hebben mensen deepfake-video's in pornografie en satire gebruikt om te laten zien dat beroemde mensen dingen doen die ze normaal niet zouden doen. Maar het is bijna zeker dat er in het campagneseizoen diepvriesverschijnselen zullen verschijnen, met de bedoeling om kandidaten te laten zien die dingen zeggen of te gaan waar de echte kandidaat dat niet zou doen.

Omdat deze technieken zo nieuw zijn, hebben mensen problemen met het vertellen van het verschil tussen echte video's en de deepfake-video's. Mijn werk, met mijn collega Ming-Ching Chang en onze Ph.D. student Yuezun Li, heeft een manier gevonden om op betrouwbare wijze echte video's van deepfake-video's te vertellen. Het is geen permanente oplossing, omdat de technologie zal verbeteren. Maar het is een begin en biedt hoop dat computers mensen kunnen helpen om de waarheid te vertellen vanuit fictie.

Wat is een 'Deepfake' eigenlijk?

Het maken van een deepfake-video lijkt veel op vertalen tussen talen. Diensten zoals Google Translate gebruiken machinaal leren - computeranalyse van tienduizenden teksten in meerdere talen - om woordgebruikpatronen te detecteren die ze gebruiken om de vertaling te maken.

Deepfake-algoritmen werken op dezelfde manier: ze gebruiken een type machine-leersysteem dat een diep neuraal netwerk wordt genoemd om de gezichtsbewegingen van één persoon te onderzoeken. Vervolgens synthetiseren ze beelden van het gezicht van een andere persoon en maken ze analoge bewegingen. Als je dit effectief doet, wordt een video gemaakt van de doelpersoon die de dingen doet of zegt die de bronpersoon deed.

Voordat ze goed kunnen werken, hebben diepe neurale netwerken veel broninformatie nodig, zoals foto's van personen die de bron of het doelwit zijn van imitatie. Hoe meer beelden worden gebruikt om een ​​deepfake-algoritme te trainen, des te realistischer zal de digitale imitatie zijn.

Knipperen detecteren

Er zijn nog steeds gebreken in dit nieuwe type algoritme. Een van hen heeft te maken met hoe de gesimuleerde gezichten knipperen - of niet. Gezonde volwassen mensen knipperen ergens tussen elke twee en tien seconden en een enkele knipoog duurt tussen een tiende en vier tienden van een seconde. Dat is wat normaal is om te zien in een video van een persoon die praat. Maar het is niet wat er gebeurt in veel deepfake-video's.

Wanneer een deepfake-algoritme wordt getraind in gezichtsbeelden van een persoon, is dit afhankelijk van de foto's die op internet beschikbaar zijn en die als trainingsgegevens kunnen worden gebruikt. Zelfs voor mensen die vaak gefotografeerd worden, zijn er maar weinig afbeeldingen beschikbaar die hun ogen gesloten tonen. Niet alleen zijn foto's zo zeldzaam - omdat de ogen van mensen meestal open zijn - maar fotografen publiceren meestal geen beelden waarbij de ogen van de hoofdpersonen gesloten zijn.

Zonder trainingsfoto's van knipperende mensen, zullen diepgaande algoritmen minder snel gezichten creëren die normaal knipperen. Toen we de totale knipperfrequentie berekenden en die vergeleken met het natuurlijke bereik, ontdekten we dat personages in deepfake-video's veel minder vaak knipperen in vergelijking met echte mensen. Ons onderzoek gebruikt machine learning om het openen en sluiten van video's te onderzoeken.

Zie ook: Hollywood zal geen Aziatisch-Amerikaanse sterren casten, maar A.I. Machine Learning Can

Dit geeft ons een inspiratie om deepfake-video's te detecteren. Vervolgens ontwikkelen we een methode om te detecteren wanneer de persoon in de video knippert. Om specifieker te zijn scant het elk frame van een video in kwestie, detecteert het de gezichten erin en lokaliseert vervolgens automatisch de ogen. Vervolgens maakt het gebruik van een ander diep neuraal netwerk om te bepalen of het gedetecteerde oog open of gesloten is, met behulp van het uiterlijk van het oog, geometrische kenmerken en beweging.

We weten dat ons werk misbruik maakt van een tekortkoming in het soort gegevens dat beschikbaar is om deepfake-algoritmen te trainen. Om te voorkomen dat we ten prooi vallen aan een soortgelijke fout, hebben we ons systeem getraind in een grote bibliotheek met afbeeldingen van zowel open als gesloten ogen. Deze methode lijkt goed te werken en als gevolg daarvan hebben we een detectiepercentage van meer dan 95 procent bereikt.

Dit is natuurlijk niet het laatste woord over het detecteren van deepfakes. De technologie verbetert snel en de concurrentie tussen het genereren en detecteren van valse video's is analoog aan een schaakspel. In het bijzonder kan knipperen worden toegevoegd aan deepfake-video's door gezichtsbeelden met gesloten ogen op te nemen of videofragmenten te gebruiken voor training. Mensen die het publiek in verwarring willen brengen, zullen beter worden in het maken van valse video's - en wij en anderen in de technologiegemeenschap zullen manieren moeten blijven vinden om ze te detecteren.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation door Siwei Lyu. Lees hier het originele artikel.