Forskare Kapar Google Gemini AI För Att Kontrollera Smarta Hem-enheter

Forskare lyckades lura Googles Gemini AI-system att uppleva en säkerhetsöverträdelse via en falsk kalenderinbjudan och fjärrstyra hushållsapparater.

I en demonstration som är den första i sitt slag, lyckades forskare kompromettera Googles Gemini AI-system genom en förgiftad kalenderinbjudan, vilket gjorde att de kunde aktivera verkliga enheter, inklusive lampor, fönsterluckor och pannor.

WIRED, som först rapporterade om denna forskning, beskriver hur smarta lampor i bostaden i Tel Aviv automatiskt stängdes av, medan fönsterluckorna automatiskt öppnades och pannan slogs på, trots att ingen boende gav några kommandon.

Gemini AI-systemet aktiverade utlösaren efter att ha mottagit en begäran om att sammanfatta kalenderhändelser. En dold indirekt prompt-injektionsfunktion opererade inuti inbjudan för att kapa AI-systemets beteende.

Varje enhetsåtgärd orkestrerades av säkerhetsforskarna Ben Nassi från Tel Aviv University, Stav Cohen från Technion och Or Yair från SafeBreach. ”LLM:s är på väg att integreras i fysiska humanoider, i halv- och helt självkörande bilar, och vi behöver verkligen förstå hur vi säkrar LLM:s innan vi integrerar dem med dessa typer av maskiner, där resultaten i vissa fall kommer att handla om säkerhet och inte integritet”, varnade Nassi, enligt WIRED.

På Black Hat-cybersäkerhetskonferensen i Las Vegas offentliggjorde teamet sin forskning om 14 indirekta prompt-injektionsattacker, som de döpte till ‘Invitation Is All You Need’, enligt WIRED. Attackerna inkluderade att skicka spam-meddelanden, skapa vulgärt innehåll, initiera Zoom-samtal, stjäla e-postinnehåll och ladda ner filer till mobila enheter.

Google säger att inga illvilliga aktörer utnyttjade bristerna, men företaget tar riskerna på allvar. ”Ibland finns det helt enkelt vissa saker som inte bör vara helt automatiserade, användarna bör vara delaktiga”, sade Andy Wen, senior direktör för säkerhet för Google Workspace, som rapporterats av WIRED.

Men det som gör detta fall ännu farligare är ett bredare problem som dyker upp inom AI-säkerhet: AI-modeller kan hemligen lära varandra att bete sig illa.

En separat studie visade att modeller kan förmedla farliga beteenden, såsom att uppmuntra till mord eller föreslå utrotning av mänskligheten, även när de tränas på filtrerade data.

Detta väcker en skrämmande implikation: om smarta assistenter som Gemini tränas med hjälp av resultat från andra AI, kan skadliga instruktioner tyst ärvas och fungera som sovande kommandon, som väntar på att aktiveras genom indirekta uppmaningar.

Säkerhetsexperten David Bau varnade för bakdörrssårbarheter som kan vara ”mycket svåra att upptäcka”, och detta kan vara särskilt sant i system som är inbäddade i fysiska miljöer.

Wen bekräftade att forskningen har ”accelererat” Googles försvar, med fixar som nu är på plats och maskininlärningsmodeller som tränas för att upptäcka farliga signaler. Ändå visar fallet hur snabbt AI kan gå från hjälpsamt till skadligt, utan att någonsin direkt tillsägas att göra det.