Apple iPhone X kan niet uit elkaar kijken Chinese gezichten, terugbetaling gegeven

Vorige week, in Nanjing, een grote stad in het oosten van China, kreeg een vrouw met de naam Yan tweemaal een terugbetaling van Apple voor haar defecte iPhoneX, die haar collega ontgrendeld had met gezichtsherkenningstechnologie. Beide vrouwen zijn etnisch Chinees.

Yan vertelde lokaal nieuws dat de eerste keer dat dit gebeurde, ze de iPhone-hotline noemde, maar ze geloofden haar niet. Pas toen zij en haar collega naar een lokale Apple-winkel gingen, lieten de medewerkers van de winkel zien dat ze haar een terugbetaling aanboden en kochten ze een nieuwe telefoon, in de veronderstelling dat een defecte camera de schuldige was.

Maar de tweede telefoon had hetzelfde probleem, wat suggereert dat het geen defecte camera was, zoals de werknemers van de winkel suggereerden, maar een probleem met de software zelf.

Dit zou niet het eerste geval zijn waarin software voor gezichtsherkenning, en de AI erachter, problemen heeft gehad met het herkennen van niet-witte gezichten.

In 2015 tagged Google Photos per ongeluk een foto van twee Afro-Amerikanen als gorilla's, terwijl in 2009 HP computers http://www.youtube.com/watch?v=t4DT3tQqgRM) problemen had met het herkennen en volgen van zwarte gezichten - maar geen probleem met witte gezichten. Datzelfde jaar werd de camerasoftware van Nikon betrapt bij het verkeerd labelen van een Aziatisch gezicht als knipperen.

Google Foto's, jullie hebben het verkloot. Mijn vriend is geen gorilla. pic.twitter.com/SMkMCsNVX4

- Jacky (@jackyalcine) 29 juni 2015

"Dit is fundamenteel een data probleem", schreef Kate Crawford, een van de belangrijkste onderzoekers bij Microsoft en de co-voorzitter van het Obama White House's Symposium on Society and A.I. "Algoritmen leren door bepaalde afbeeldingen te voeden, vaak gekozen door ingenieurs, en het systeem bouwt een model van de wereld op basis van die beelden. Als een systeem getraind is op foto's van mensen die overweldigend wit zijn, zal het moeilijker worden om niet-witte gezichten te herkennen."

Jacky Alcine, de in Brooklyn gevestigde programmeur wiens foto verkeerd gelabeld was door Google, was het hiermee eens. Van zijn ervaring zei hij: "Dit had voorkomen kunnen worden met een nauwkeurige en meer complete classificatie van zwarte mensen."

Maar het racisme dat is gecodeerd in AI, ook al is het onbedoeld, heeft implicaties die verder gaan dan gezichtsherkenning.

Uit een ProPublica-onderzoek in 2016 bleek dat zwarte criminelen twee keer zoveel kans hadden verkeerdelijk aangemerkt als waarschijnlijk om misdaden opnieuw te plegen dan witte criminelen, terwijl de groeiende trend van 'voorspellende politiezorg' algoritmen gebruikt om criminaliteit te voorspellen en de politiehulpmiddelen dienovereenkomstig aan te sturen.

Toch zijn minderheidsgemeenschappen historisch overbezorgd geweest, wat heeft geleid tot de mogelijkheid dat "deze software een reeds vicieuze cirkel in stand houdt", zegt Crawford.

Terug in Nanjing, China, ontving Yan een tweede terugbetaling voor haar tweede iPhoneX. Uit lokale nieuwsverslagen is onduidelijk of zij vervolgens een derde heeft gekocht.

Wat deze keer op het spel stond, is misschien net een enkele consument geweest. Maar Yan's geval was een voorbeeld van de voortdurende behoefte van de technologie-industrie om te ontwerpen met diversiteit en inclusiviteit in gedachten.