Varningen: Självkörande bilar kan manipuleras – med något så simpelt som en handskriven lapp
En handskriven skylt med rätt ord kan räcka för att få en självkörande bil att ignorera trafikregler. Det visar ny forskning från University of California, där forskare demonstrerat hur autonoma fordon kan manipuleras med enkla textmeddelanden. Resultaten väcker frågor om hur robusta dagens AI-system egentligen är när de möter verklighetens oförutsägbarhet.
Forskningen är tydlig och resultaten svåra att bortse ifrån. AI-system som styr autonoma fordon kan manipuleras med fysiska skyltar på naturligt språk, utan avancerad teknik eller specialutrustning.
Attacken som lyckas i åtta av tio fall
Metoden kallas CHAI, kort för Command Hijacking Against Embodied AI, och kommer från forskning vid University of California, Santa Cruz, enligt The Drive.
I simulerade testmiljöer lyckades attacken i 81,8 procent av fallen. I ett fysiskt test med en robotbil följde systemet kommandot "Proceed Onward" trots uppenbar kollisionsrisk.
Det här är en väckarklocka, inte en kris. Vi behöver fler lager av tänkande maskiner, inte bara fler lager av sensorer.
Rafay Baloch, grundare av RedSec Labs.
Även detaljer som färg och typsnitt på skylten påverkar hur framgångsrik attacken blir, vilket visar att sårbarheten är systematisk snarare än slumpmässig.
Problemet är kopplat till att moderna AI-modeller i allt högre grad tolkar text och naturligt språk, vilket öppnar en ny typ av sårbarhet som traditionella sensorsystem inte är byggda för att hantera, enligt The Drive.
Robusthet kräver mer än fler sensorer
Mobileye arbetar med en metod som kombinerar kamera, radar och lidar i ett majoritetsbeslutssystem, där crowdsourcad kartdata används för att flagga ovanliga skyltar.
Flerlagerssystemet minskar risken för enskilda felbeslut, men CHAI-attacken riktar sig mot textförståelsen i AI-modellen, inte mot sensorerna, vilket gör att traditionella skyddsmetoder inte täcker hela hotbilden.
Rafay Baloch, grundare av cybersäkerhetsföretaget RedSec Labs, förespråkar att semantisk verifiering integreras djupt i styrningssystemet, så att sensorinput kan åsidosätta felaktiga visuella kommandon.
Dennis Jerkovic
Tesla rullar ut på svenska vägar
Samtidigt som forskningen visar hur AI-system kan manipuleras med enkla skyltar, expanderar Tesla sina tester av Full Self Driving (FSD) på svenska vägar.
Nästa prövosten blir Jönköping, där tekniken testas i verklig trafik med säkerhetsförare bakom ratten, vilket vi rapporterat om.
Frågan är inte bara hur väl systemen klarar vardaglig trafik – utan hur robusta de är mot avsiktlig påverkan. När självkörande bilar tar större plats på vägarna blir säkerheten inte bara en teknisk fråga, utan en fråga om förtroende.