Nieuwe technologie kan gezichtsuitdrukkingen in real-time uitwisselen

$config[ads_kvadrat] not found

Hoe kunnen we gezichten lezen? | Vragen van Kinderen | Het Klokhuis

Hoe kunnen we gezichten lezen? | Vragen van Kinderen | Het Klokhuis
Anonim

Onthoud dat Bizarro World "Myidol" -app dit voorjaar viral is gegaan vanwege het vermogen om gezichtsherkenningssoftware te gebruiken om een ​​digitale avatar te maken die eruit ziet en beweegt precies meestal zoals jij? Dat wordt bijna realiteit … een soort van.

Onderzoekers van Stanford hebben ontdekt hoe iemands gezichtsuitdrukkingen via video in realtime kunnen worden overgedragen op die van een ander.

Het model dat in de demonstratievideo van Stanford wordt getoond, maakt voor elke acteur gewoon gebruik van een pc en dieptecamera van consumentenklasse. Dit betekent dat je niet per se fancy uitrusting nodig hebt om deze tromp l'oeil uit te voeren, je hebt alleen wat ingewikkelde algoritmen nodig.

De onderzoekers ontwikkelden een nieuw real-time algoritme dat hoogwaardige beelden van de gezichten van elke deelnemer neemt en gebruikt om de uitdrukkingen van een "bronacteur" (de persoon die de gezichtsuitdrukkingen en / of spraak verzorgt) om te zetten naar een "doelacteur" (de persoon wiens gezicht zal worden gemanipuleerd volgens wat de bronacteur doet). De visuele informatie van de bronacteur doorloopt het programma en wordt weergegeven bovenop de videostream van de doelacteur, dus het lijkt erop dat de doelacteur glimlacht, spreekt, zijn tong uitstrekt, of wat er ook maar in je opkomt.

Dankzij een reeks referentiepunten die zijn afgebeeld rond het gezicht (vergelijkbaar met de Myidol-app), omvatten de visuele informatie die door het systeem wordt gemeten gezichtsvorm en functies (zoals uw ogen, neus, mond en zelfs rimpels) en gezichtstextuur en diepte. Het programma komt vervolgens overeen met de referentiepunten van de bronacteur met de doelactoren en plaatst die uitdrukkingen boven op het doel voor een hyperrealistische videovoeding.

Omdat dit systeem nog steeds in de maak is (en redelijk rudimentaire apparatuur werd gebruikt), zijn de eindresultaten nog steeds een beetje griezelig - zoals de semi-storende faux-tanden die in de mond van het doelwit worden gesuperponeerd, dus er is geen gapend zwart gat wanneer het " open "(zie hierboven) … evenals het soort blanco uiterlijk in de ogen van het doelwit. Maar dat zijn kleine frietjes vergeleken met wat voor coole dingen de ontwikkeling van dit programma voor ons betekent.

Hier zijn een paar ideeën voor waar we deze technologie voor kunnen gebruiken:

  • Je hebt een belangrijk sollicitatiegesprek op Skype en je bent niet gekleed voor succes. Gebruik gewoon een fraai uitziende standaard terwijl je de gezichtsuitdrukkingen en moordende interviewantwoorden geeft.
  • Je kijkt naar een live gestreamde lezing van een topprofessor in Duitsland - het enige probleem is dat je geen Duits spreekt. Geen zorgen, dankzij een real-time vertaler die deze software gebruikt, kunt u kijken hoe de prof haar toespraak in uw moedertaal aflevert zonder dat er sprake is van gruwelijke dubbingvertraging in de beelden.

Bekijk de expression-swap in actie:

$config[ads_kvadrat] not found