Inside Pinscreen's Secretive Augmented Reality en CGI

Augmented reality en face-swapping lijken populaire kandidaten te zijn voor de volgende mobiele apps; Kijk maar eens naar de aankoop door Facebook van MSQRD of Snapchat's overname van Looksery. Maar één AR-startup genaamd Pinscreen, momenteel gesteund door $ 1,8 miljoen van Lux Capital en Colopl VR Fund, is op zoek naar dingen die anders zijn op dit gebied. omgekeerde sprak exclusief met Pinscreen-oprichter Hao Li over wat er mogelijk op komst is voor dit geheime bedrijf.

Je hebt misschien nog nooit gehoord van Hao Li, maar je hebt waarschijnlijk het onderzoek van dit USC-universitair docent in actie gezien in verschillende blockbuster-films. Tijdens het werken bij visuele effecten studio Industrial Light & Magic, hielp Li mee met het ontwikkelen van een aantal tools die real-time performance capture mogelijk maakten. Het idee was dat een acteur voor een computer met een webcamera zou kunnen zitten, een scène zou kunnen uitvoeren en dat die uitvoering dan - in realtime - naar een CG-personage zou worden vertaald.

Li heeft uitgebreid onderzoek verricht op andere gebieden, waaronder het real-time maken van 3D-modellen van echte mensen en het vastleggen van belangrijke delen van hun gelijkenis, vooral gezichten en haar. Meest recent liet Li onderzoek zien dat hij en anderen hadden uitgevoerd om een ​​uitvoering van een persoon met slechts één camera vast te leggen en dat naar een digitaal personage te vertalen.

In eerste instantie klinkt dit niet zo nieuw. Er zijn al een aantal oplossingen voor gezichtsherkenning in ontwikkeling, zowel voor mobiele apps als voor veel geavanceerdere systemen zoals Faceshift (gekocht door Apple in 2015). Maar veel daarvan zijn afhankelijk van dieptesensoren, die de technologie van Li niet nodig heeft. Die benadering, zegt hij, is heel anders.

"Als je een dieptesensor hebt, is alles wat je nodig hebt om de parameters van een gezichtsmodel te optimaliseren, zodat het model zo dicht mogelijk bij de 3D-ingang past", legt Li uit. "Maar in het geval van een pure RGB-invoer wordt de hele wereld geprojecteerd op een tweedimensionaal beeld zonder bekende cameraparameters zoals brandpuntsafstanden. Er moet dus een nauwkeurig 3D-gezichtsmodel worden afgeleid uit dit geprojecteerde beeld en in staat zijn om een ​​breed scala aan lichtomstandigheden en verschijnselen van verschillende onderwerpen aan te kunnen."

Vandaar het belang van Li's onderzoek naar 3D-avatars. Bij het in kaart brengen van het gezicht van een mens, hebben veel kaartprogramma's moeite met het omgaan met visuele obstakels zoals haar en bril. Om dat probleem te voorkomen, heeft Pinscreen "een diep convolutioneel neuraal netwerk gebouwd dat kan leren hoe een gezichtsregio in een volledig ongedwongen beeld wordt gesegmenteerd."

Dus, wat is Pinscreen eigenlijk aan het gebruiken van deze gekke geavanceerde technologie?

"We zullen een nieuw type sociale media / communicatieplatform worden met enkele interessante AR-mogelijkheden", zegt Li. "Het wordt geen app zoals Snapchat-lenzen of MSQRD, die voor de meeste mensen slechts een paar minuten interessant is."

Dus dat is voorlopig niet veel meer dan buzzwords. Maar als hij dieper kijkt, suggereert zijn eerdere werk dat ze hopen het vermogen te ontwikkelen om iemands gezicht te volgen, ondanks haar, bril of andere objecten die het zicht op de enkele camera belemmeren. Voeg wat augmented reality toe en de lucht is de limiet voor films, sociale media en games.

Het klinkt nogal baanbrekend, maar het is belangrijk op te merken dat Li en zijn team niet de enige zijn die onderzoek doen op dit gebied. Disney presenteerde onlangs zijn kijk op het vastleggen van real-time gezichtsprestaties, net als sommige andere onderzoekers met een tool genaamd Face2Face. Er is ook de bovengenoemde Faceshift, samen met Facebook en Snapchat, die ook begonnen zijn hun waren te demonstreren.

Dus wat maakt de technologie van Pinscreen anders? Li stelt voor dat de oplossing van zijn bedrijf "een stuk robuuster is en meer nauwkeurige 3D-modellen kan afleiden, omdat we occlusies expliciet behandelen."

"Onze belangrijkste innovatie is een technologie die ons in staat stelt om een ​​compleet 3D-hoofdmodel te bouwen, inclusief haar uit elk willekeurig beeld," zegt hij. "Dit type taak vereist traditioneel een ervaren CG-modeler en rigger om te produceren, maar we kunnen dit volledig automatisch genereren. De nieuwste papers gepresenteerd op SIGGRAPH (de toonaangevende conferentie over computergraphics en interactieve technieken) vereist ook meerdere inputafbeeldingen als input - we concentreren ons op de oplossing met de minimale inputvereisten, een enkel 2D-beeld."

Natuurlijk, totdat de mensen een app van Pinscreen zien en gebruiken, blijft de jury uit over zijn mogelijkheden. Het verschil hier is echter dat Li zeker een solide geschiedenis van onderzoek en innovatie achter de rug heeft, vooral bij het maken van digitale avatars.

Li heeft duidelijk vertrouwen in de mogelijkheden van Pinscreen in de ruimte voor sociale media. "Aangezien onze technologie de generatie van 3D-avatars zal democratiseren, zal het voor de hand liggende toepassingen hebben in games, VR / AR-toepassingen voor meeslepende communicatie of AI-agents", zegt hij, "maar ik denk dat we zelf de coolste applicatie zullen maken, die het sociale mediale platform dat we ontwikkelen.

"Het belangrijkste is dat," voegt hij eraan toe, "we iets willen bouwen dat mensen in staat stelt echt interessante content te maken zonder de hedendaagse dure VFX-pipeline en echt leuke AR-content te gebruiken om met elkaar in contact te komen."

Het lijkt erop alsof Pinscreen het scala aan technologieën zal bevatten waar Li en zijn team aan hebben gewerkt. Maar, zegt hij, dat is slechts een deel van het plan. "De technische demo is eigenlijk maar een kenmerk van wat we van plan zijn te gebruiken," merkt hij op. "Pinscreen zal iets veel groter zijn en de technologie zal in het begin een interessante functie zijn. We zullen ook heel anders zijn dan andere sociale media-platform."

Voorlopig is Pinscreen nog steeds een beetje een mysterie en het lijkt erop dat we gewoon moeten wachten om te zien wat ze in petto hebben.