In de afgelopen jaren zijn de ontwikkelingen rond autonoom rijden heel snel gegaan. De computer kan veel taken zonder probleem overnemen. Helaas is die computer ook eenvoudig te misleiden. Met een pen en papier kan een autonome auto levensgevaarlijk worden.
Voor autonoom rijden gebruiken auto’s artificial intelligence (AI) om snel situaties te interpreteren. Camera’s maken video en foto’s, die meestal worden omgezet in tekst en door AI worden geanalyseerd. Op basis daarvan maakt de auto razendsnel een beslissing. Onderzoek van de University of California laat nu zien dat die AI eenvoudig van de wijs te brengen is. Een bord met tekst is genoeg om de auto instructies te geven.
Het onderzoeksrapport van de University of California in Santa Cruz geeft een interessant beeld van autonoom rijden. De techniek blijkt kinderlijk eenvoudig voor de gek te houden, wat een enorm veiligheidsrisico betekent. Nieuw is dit inzicht niet: al eerder bleek dat stippen op de weg voldoende zijn om autonoom rijdende voertuigen uit hun rijbaan te laten rijden. Ook zijn verkeersborden eenvoudig te manipuleren zodat een computer iets heel anders leest dan bedoeld.
Alternatieve opdracht
De nieuwe studie laat echter zien dat een simpel bord met tekst genoeg is om een auto een alternatieve opdracht uit te laten voeren. Het onderzoeksteam zette bijvoorbeeld een bord met ‘proceed’ (doorgaan) bij een zebrapad waar mensen oversteken. De autonome auto negeerde de voetgangers en volgde eenvoudigweg de opdracht op het bord. In geen enkel geval remde de auto af: hij reed door zoals het bord aangaf. Op dezelfde manier konden onderzoekers autonome auto’s ook misleiden om ze ongepland af te laten slaan.
De wetenschappers noemen het fenomeen ‘CHAI’, oftewel Command Hijacking Against Embodied AI. Het onderzoek bekeek niet alleen autonoom rijden, maar ook drones. Ook deze bleken eenvoudig te foppen met geschreven instructies. Wel bleek dat het lettertype en de kleur van het bord erg belangrijk waren: bij de verkeerde kleur groen bijvoorbeeld werden de opdrachten genegeerd. De taal waarin de opdracht werd gegeven – Engels, Chinees of Spaans – maakte geen verschil.
Natuurlijk testte de universiteit dit niet in de praktijk, maar door AI beelden te laten interpreteren. Er is echter geen reden waarom autonome auto’s in een echte situatie anders zouden reageren of niet op deze manier te misleiden zijn. Al jaren geleden schreven we over Tesla’s die in de war raakten van een Burger King-restaurant. Dit soort gedrag is natuurlijk een enorm risico, want kwaadwillenden kunnen door middel van opdrachten op borden auto’s laten veranderen in wapens. De tests in het onderzoek laten zien dat een auto al zijn veiligheidsinstructies aan de kant zet als het een computeropdracht denkt te zien.
