Onderzoekers vragen om een ​​kill-schakelaar, voor het geval robots ons aanvallen

Bijna elke keer dat er een grote discussie over de toekomst van kunstmatige intelligentie ontstaat, neigt het onderwerp van anarchie en robotachtige overheersers naar voren te komen.Het idee van mensen en geavanceerde kunstmatige wezens die samen leven heeft honderden verhalen voortgebracht over hoe dat zou werken; meest recent, het videogame Overwatch verblufte de wereld met zijn verhalen over onze toekomst, enige tijd na een massale burgeroorlog tussen mens en robot. Wanneer een ingenieur uit Boston Dynamics een van hun vierpotige robots trapt omwille van een stresstest, is het moeilijk om je niet af te vragen of de 'bot dat ooit zal onthouden.

Dit alles (samen met het basis gezond verstand met betrekking tot veiligheid en ongevallen) heeft ertoe geleid dat een groep onderzoekers een nieuw artikel publiceerde over de ontwikkeling van "veilig onderbreekbare agentia"; systemen die A.I. "onderbreken". software als er iets misgaat. Het artikel is gepubliceerd door het Machine Intelligence Research Institute en is een onderzoek naar het ontwikkelen van de voorgestelde systemen. De studie en het voorstel gebruiken een beloningssysteem als een voorbeeld, en zijn in werkelijkheid veel gecompliceerder dan alleen de voorgestelde "grote rode knop" te raken die op het blad wordt beschreven. Moraliteit onderwijzen aan A.I. was een belangrijk onderdeel van het voorstel.

Als een dergelijke agent in realtime onder menselijk toezicht opereert, kan het soms nodig zijn dat een menselijke operator op de grote rode knop drukt om te voorkomen dat het agens een schadelijke opeenvolging van acties voortzet - schadelijk voor de agent of voor het milieu - en leidt de agent naar een veiliger situatie. Als de leerling echter verwacht om beloningen van deze reeks te ontvangen, kan deze op de lange duur leren dergelijke onderbrekingen te voorkomen, bijvoorbeeld door de rode knop uit te schakelen, wat een ongewenst resultaat is. Dit artikel verkent een manier om te zorgen dat een leeragent niet leert om te voorkomen (of te zoeken!) Dat deze wordt onderbroken door de omgeving of een menselijke operator.

Je moet ervan houden wanneer onderzoeksrapporten over robotanarchie de term 'ongewenst resultaat' gebruiken. Toch gaat het artikel verder over de tests die worden uitgevoerd en wat er in de toekomst kan worden gedaan aan dergelijke gevallen. U kunt hier het volledige papier lezen.