Disparate Pieces | Critical Role: THE MIGHTY NEIN | Episode 4
In één oogopslag ziet de foto omhoog eruit als een gewone foto van een gewone straat, gemaakt van een dash cam of van iemand die dwaas genoeg is om de weg in te trekken om een foto van zo'n alledaags tafereel te maken.
Maar kijk wat dichterbij. Merk op hoe het verkeerslicht enigszins krom is of hoe sommige auto's wazig lijken? Er is hier iets mis. Dit is helemaal geen foto. Het is een afbeelding die volledig is gemaakt door een A.I.
Computerwetenschappers van het technologiebedrijf Nvidia en de University of California, Berkeley hebben een research paper geschreven, beschikbaar in preprint op arXiv, waarin wordt uitgelegd hoe ze in staat waren om een neuraal netwerk te krijgen voor het genereren van realistische straatbeelden en menselijke portretten. Ze bevatten zelfs een gebruikersinterface waarmee je de foto's kunt aanpassen zoals je wilt door extra bladeren toe te voegen of zelfs het weer te veranderen.
"Gamen groeit snel, omdat mensen graag in virtuele omgevingen met elkaar omgaan," vertelt Ming-Yu Liu, een senior wetenschapper bij Nvidia, omgekeerde in een e-mail. "Virtuele werelden bouwen is echter duur met de technologie van vandaag, omdat het kunstenaars vereist om textuur en verlichting expliciet te modelleren en te simuleren voor de wereld die ze bouwen. Met beeld-naar-beeldvertaling kunnen we in plaats daarvan de echte wereld samplen om virtuele werelden te creëren."
Neurale netwerken zijn computers die gemodelleerd zijn om te werken als een menselijk brein door informatie op te nemen, toe te passen en van de resultaten te leren. Dit onderzoek maakte gebruik van speciale soorten neurale netten, geïntroduceerd door Ian Goodfellow in 2014, generatieve tegengestelde netwerken - of GAN's - die over het algemeen uit twee netwerken bestaan, de generator en de discriminator.
De generator krijgt foto's en begint synthetische afbeeldingen te maken die lijken op de afbeeldingen die ze heeft gekregen. Het toont dan een mix van de afbeeldingen die het heeft gekregen en de vervalsingen voor de discriminator, wiens taak het is om ze uit elkaar te houden. Naarmate dit proces doorgaat, wordt de generator beter in het nabootsen van de originele beelden en wordt de discriminator beter in het onderscheiden van de vervalsingen. De resultaten zijn enkele behoorlijk overtuigende - en totaal nep - foto's.
Dit onderzoek bouwt voort op het traditionele GAN-model door de splitsing van de generator en discriminator-netwerken in een paar subnetwerken toe te voegen, waardoor beelden met een hogere resolutie kunnen worden uitgevoerd. De neurale netwerken zijn ook in staat om een semantische kaart op te nemen - of een blauwdruk van hoe de foto eruit zou moeten zien - en de structuren autonoom in te vullen. Gebruikers kunnen zelfs de blauwdruk ingaan en dingen veranderen als ze gebouwen in plaats van bomen willen toevoegen in een straatbeeld of de ogen breder willen maken in een portret.
Het artikel vergelijkt de resultaten met vergelijkbare experimenten die met deze methode zijn gedaan, waarvan pixel2pix de meest opmerkelijke is. De studie van Nvidia en UC Berkeley is in staat om afbeeldingen met details zo klein en nauwkeurig te genereren als leesbare kentekenplaten, terwijl pix2pix afbeeldingen produceert die er bijna uitzien als aquarelschilderijen.
Hoewel deze tool kan worden gebruikt om wat gratis reddit-karma te verdienen met een paar bizarre foto's, zien de auteurs enorm veel potentieel in het gebruiken van deze benadering om realistische grafische afbeeldingen te genereren met slechts een eenvoudige blauwdruk.
Honderden uren van nauwgezette arbeid gaan naar het genereren van virtuele werelden voor gebruik in Google Maps, films en videogames. Liu zegt dat dit model zou kunnen dienen als een manier om pijnloos het grootste deel van het ontwerpen gedaan te krijgen en vervolgens in te gaan en de details later aan te passen.
"In plaats van de wereld te renderen door het expliciet te modelleren, kunnen we de wereld impliciet bouwen door gebruik te maken van beeld-naar-beeldvertaling om te vertalen tussen een eenvoudig model van de wereld dat geen textuur of belichting bevat, en een fotorealistische uitvoer. Deze mogelijkheid zou het veel goedkoper moeten maken om virtuele werelden te bouwen, "vertelt hij omgekeerde.
Voor de volgende stap in dit onderzoek hoopt het team video-naar-video-vertalingen te verkennen, waarbij neurale netwerken worden gebruikt om realistische video's te maken. Een doel dat Lui zegt, heeft onderzoekers in het veld uitgedaagd.
Nu weet u hoe eenvoudig nep-afbeeldingen kunnen worden gemaakt. Vertrouw niet alles wat u ziet op Google-afbeeldingen.
Nike's Next Shoes kunnen fotorealistische 3D-afbeeldingen bevatten in plaats van logo's
Nike, levenslange Lebron James-weldoener, heeft een techniek gepatenteerd voor het printen van 3D-displays op zijn schoenen. Hoewel de 3D-beelden niet dynamisch zijn, zullen ze "fotorealistisch" zijn - stel je bijvoorbeeld een levensechte Michael voor die dunkt op je Jordan 11s in plaats van het klassieke rode silhouet. Het Amerikaanse octrooibureau beschrijft de ...
Kan het "bovenmenselijke" neurale netwerk van Google echt de locatie van een afbeelding vertellen?
Zoeken naar afbeeldingen is eenvoudiger dan ooit. Maar als je een foto probeert te vinden op een locatie die niet helemaal duidelijk is (dus niet de Egyptische piramides of de gigantische duimsculptuur in Parijs), is het moeilijker dan je denkt - zelfs met de geolocatie-informatie op basis van wat zit er in de afbeelding. Voer Google eee in ...
Dit neurale netwerk kan je wazige beelden weer perfecte kwaliteit maken
Drie computerwetenschappers hebben een neuraal netwerk gemaakt dat in staat is om beschadigde afbeeldingen naar hun volledige resolutie te herstellen zonder de noodzaak van een grote dataset.