Een jaar in, geeft de functie "On This Day" een voorbeeld van hoe A.I. Verandert Facebook

Vandaag, een jaar geleden, heeft Facebook de "On This Day" -functie vrijgegeven. omgekeerde sprak met Facebook's Computer Vision Research Lead Manohar Paluri over hoe kunstmatige intelligentie, machine learning en computervisie deze functie betekenisvoller maken - en hoe deze gebieden van onderzoek en ontwikkeling de Facebook-ervaring in de komende jaren zullen blijven verbeteren.

Zelfs als je de On This Day-functie niet zelf hebt gebruikt, heb je deze berichten rondom je nieuwsfeed gezien; je hebt een vriend gezien die een evenement opnieuw heeft gedeeld via zijn of haar Facebook-verleden. Ik kan niet geloven dat het drie jaar geleden is dat die goochelaar een konijn uit een hoed heeft getrokken! gepaard met een foto van de tovenaar die het konijn uit de hoed trok. Iets vergelijkbaars. En vandaag deelt Facebook zijn eigen geheugen. Op deze dag, een jaar geleden, lanceerde Facebook On This Day. (Nu, On This Day heeft meer dan 60 miljoen dagelijkse bezoekers en 155 miljoen abonneren op zijn meldingen.)

Maar voor Facebook is deze herinnering minder sentimenteel dan een mijlpaal. Facebook rolt consequent nieuwe functies uit en deze functies worden consequent onderzocht en aangepast. Soms zijn het menselijke wezens, zoals Paluri en zijn team, die tweaken; soms is het A.I.s. Meestal is het echter symbiotisch. Facebook is als een cyborg, en deze cyborg heeft er een raison d'être: om je Facebook-ervaring te maken als aangenaam mogelijk.

De computervisie, inhoudsbegrip en A.I. squadron op Facebook kan worden gezien - zo u wilt - als het moederbord van cyborg. En Paluri, om de metafoor voort te zetten, is een soort van centrale verwerkingseenheid voor dat moederbord. Paluri werkt al meer dan een decennium in de computervisie, en hij is geen klein kind: hij begon bij SRI, stapte over naar IBM Watson-laboratoria en stapte van daaruit op Google. En nu is hij in Menlo Park op Facebook. Toen hij zich bij hem aansloot, werd zijn stageproject met visuele herkenning afgerond als de 'ruggengraat', zegt hij, van Facebook's beeld- en video-begrijpend technologie. En die visuele herkenningsengine wordt steeds centraler op Facebook.

"Als je kijkt naar het gebruik van Facebook in de loop van de tijd - en dit is een voorbeeld dat Mark Zuckerberg ook vaak citeert - zie je rijkere en rijkere media worden gedeeld, en mensen gebruiken dat om verbinding te maken," zegt Paluri. "Je begint bij tekst, je gaat naar foto's; van foto's ga je naar video's en van video's die we nu naar VR gaan. Naarmate het communicatiemedium rijker en rijker wordt, is het ook belangrijk dat de hulpmiddelen inhalen, dat de tools begrijpen wat deze inhoud is. Tenzij we dat hebben, zullen we niet beter kunnen doen in de nieuwsfeed ranking, we zullen niet in staat zijn om beter te zijn in het terugvinden van zoekopdrachten, we zullen niet beter kunnen doen in het beschrijven van foto's voor blinde mensen, we zullen niet in staat om betere bevolkingsdichtheidskaarten te maken."

Post door zuck.

De relatief nieuwe centraliteit van kunstmatige intelligentie, machine learning en computervisie, zegt Paluri, is een beetje een "strategische gok" - maar een gok die hem opwindt. Nergens anders heeft hij gewerkt met zo'n strakke feedback- en responsloop tussen onderzoek en engineering. "Door het te centraliseren, verwerken we met de nieuwste technologie, we pushen de state-of-the-art, en vervolgens kunnen de productteams en de rest van het bedrijf erop letten", zegt hij.

Nu beheert Paluri het computer vision-team. "Het doel op hoog niveau van het team is om machines te laten zien hoe mensen werken", legt Paluri uit. "En verder gaan dan eigenlijk - verder gaan dan wat mensen kunnen, naar bijvoorbeeld fijnzinnige herkenning. We publiceren onze bevindingen in topconferenties, we schrijven technische blogs en we zijn erg open over waar we aan werken. Over het algemeen is ons belangrijkste doel om computer vision-technologie beschikbaar te maken voor de rest van de productgroepen op Facebook."

En het belangrijkste product dat Paluri's oogst oogst, is toevallig ook op deze dag.

Achter de simplistische, onschuldige sluier die On This Day schuilt, ligt een complexe A.I. en een computer vision-systeem dat uw ezelsbruggetjes-ervaring perfectioneert. Paluri, die - nogmaals - alleen tangentiaal gebonden is aan On This Day, legt uit waarom het herleven van herinneringen aan sociale netwerken een goede zaak kan zijn:

"Nostalgie is een zeer positief fenomeen. Dus, het zien van je trouwfoto, bijvoorbeeld, op een geïmproviseerde manier - wanneer je er niet specifiek voor rondkijkt, maar het verschijnt gewoon in je nieuwsfeed - is een uiterst aangename ervaring. Vooral als je in het heden bladert en er een positieve herinnering uit het verleden naar voren komt."

"Nostalgie is een zeer positief fenomeen."

Toch is er ongetwijfeld nostalgie die meer op de bittere kant van het bitterzoete spectrum valt. "Het eerste dat in je opkomt," zegt Paluri, is: "Moet je alle herinneringen naar boven halen? Het intuïtieve antwoord is nee, omdat het afhankelijk is van uw huidige toestand, het hangt af van dat specifieke geheugen; er zijn veel, veel intrinsieke dingen. Dat is waar de A.I. technologie komt in beeld."

En er zijn twee manieren waarop de A.I. komt binnen, hier: een, personalisatie; twee, begrip.

Met betrekking tot het laatste, inhoudsbegrip: "Deze herinneringen zijn tekstherinneringen, levensgebeurtenissen, foto's die u hebt geüpload of video's die u hebt geüpload. Dus nu heb je deze overvloed aan inhoud die van verschillende modaliteiten is en het begrijpen van wat er in zit is uitermate belangrijk om te kunnen leren en de juiste reeks herinneringen te bieden."

Bovendien - en niet alleen voor On This Day - inhoud begrip en deze A.I. systemen helpen wieden door de overweldigende hoeveelheid informatie die elke dag op Facebook staat. (Denk er eens over: als de nieuwsfeed van Facebook leek op die van Instagram, zou je het zien kan zijn twee procent van alle berichten. In plaats daarvan sta je bloot aan inhoud die je waarschijnlijk leuk vindt, of inhoud die je veel tijd besteedt aan het inzamelen.) En het helpt onaangename inhoud, zoals pornografie, wegfilteren, meer dan de meeste andere online sites.

"Hoewel het een verlies is, brengt het hen een positief geheugen."

En met betrekking tot de eerstgenoemden, vertelt Paluri: "Misschien is het goed om naar positieve herinneringen te kijken, en je houdt niet van iets negatiefs. Maar voor iemand anders, misschien willen ze herinnerd worden aan het feit dat ze hun kat verloren hebben op deze dag. Ook al is het een verlies, het brengt hen een positief geheugen. "En in zekere zin heeft elke Facebook-gebruiker een zeer persoonlijk profiel achter de schermen dat weet waar hij of zij wel of niet over wil nagenieten. "Terwijl u met de herinneringen omgaat - terwijl u deelt, zoals u leuk vindt of wanneer u weg bent - is er een model voor machine learning dat de module Inhoudsbegrip gebruikt, samen met uw voorkeuren, en de toekomstige herinneringen die u worden opgediend, personaliseert.”

Maar wees niet gefrustreerd: Facebook wil ervoor zorgen dat je niet ruw herinnerd wordt aan een breuk of het overlijden van een familielid. "Ongeacht hoe goed de A.I. of machine learning-technologie is, we willen toch de controle over de gebruiker blijven geven, want aan het eind van de dag is ons doel om herinneringen weer te geven die ze leuk vinden. "Gebruikers krijgen een overschakelschakelaar:" Als ze dat weten, tussen deze datums, er is iets negatiefs gebeurd - ze zijn uit elkaar of zoiets - we willen ze de volledige controle geven over het niet opdoen van die herinneringen."

Binnen de voorkeuren voor On This Day, dan kun je zeggen Laat me geen herinneringen zien met die-en-die omdat hij een verachtelijke mens is of … van de afgelopen drie jaar die ellendig en op geen enkele manier opmerkelijk waren.

Voor de toekomst legt Paluri uit waarom hij blij is om verder te werken aan de ontwikkeling van deze systemen en de kwaliteit van het moederbord van Facebook te verbeteren.

U hebt al andere applicaties genoemd voor visie- en inhoudbeveiligingssystemen binnen Facebook. Is er nog iets dat nog in de maak is - dat deze systemen gebruikt - dat je opwindt?

Al deze mogelijkheden op video's is iets dat me zeker opwindt. Dat bestaat beslist al; het is een continu proces, omdat video behoorlijk groot is op Facebook. Maar ik denk dat we op een bepaald niveau rijker en rijker willen worden in het begrijpen ervan. De huidige computer vision-technologie is er nog steeds niet als het gaat om het beschrijven van afbeeldingen zoals mensen dat doen. Het kan u vertellen dat deze foto deze dingen heeft, dat dit de pixel is die bij de kat hoort, enzovoort - maar deze is beperkt. Het begrijpt de relatie tussen dingen nog steeds niet en beschrijft het nog steeds niet op een menselijke manier.

Er is wat werk dat afbeeldingen beschrijft - het wordt beeldbijschrift genoemd. Er zijn een aantal werken die in de afgelopen twee jaar uitkwamen. Maar als u naar de bijschriften kijkt die deze systemen genereren, zijn ze erg algemeen. Ze zijn niet beschrijvend. Een van de dingen die we graag zouden willen, en die in de toekomst van onze kant zal komen, is om ze op een veel rijkere manier te beschrijven. Zowel voor afbeeldingen als video. Als je een video van twee minuten hebt, wil je geen beschrijving van één zin; wat je wilt is een paragraaf met een tijdgevoel voor de beschrijving, toch? 'Dit gebeurde, toen gebeurde dit, toen gebeurde dit,' toch? Dat is een goed begrip.

Dus je wilt me ​​knock-out slaan, zeg je. Kortom.

Lacht Nee, absoluut niet. Ik maak je werk interessanter.

Heb je het gevoel dat Facebook een beetje een vreemde plaats is voor dit onderzoek, of is het een perfecte plek?

Ik denk dat het een perfecte plek is, omdat inhoudsbegrip in het DNA van Facebook zit. Als je kijkt naar de explosie van het Facebook-gebruik, is News Feed een van de pijlers waarop Facebook een geweldig sociaal netwerk kon zijn in vergelijking met veel andere concurrenten. Nieuwsfeed is nog steeds het belangrijkste distributiekanaal.

Maar wanneer u naar Nieuwsfeed komt, komt u niet met een specifieke bedoeling. Je komt daar voor informatie. Het is dus belangrijk voor ons om u de juiste dingen te laten zien, om u betekenisvolle dingen te laten zien. Als je naar andere diensten gaat, ga je misschien met een intentie, in welk geval alle service hoeft te doen is het antwoord geven. Hier, het is alsof ik je de vraag geef en Ik geef je het antwoord. Dus je moet echt heel erg goed zijn voor iemand om terug te blijven komen.

Dat is waarom A.I. en inhoudsbegrip is de kern van Facebook, en waarom dit de beste plaats ervoor is. Gezien de hoeveelheid media die er is - gezien de hoeveelheid inhoud op Facebook over afbeeldingen en video's en de verschuiving naar meer en meer video en VR - is dit de beste plaats om A.I. te doen. onderzoek, computervisie en machine learning.

Het is geen vreemde plaats: het is de plaats.