Stora AI-agenter upptäcks vara sårbara för kapning, visar studie

Några av de mest använda AI-assistenterna från Microsoft, Google, OpenAI och Salesforce kan kapas av angripare med liten eller ingen interaktion från användaren, enligt ny forskning från Zenity Labs.

Presenterad vid Black Hat USA:s konferens för cybersäkerhet, visar resultaten att hackare kan stjäla data, manipulera arbetsflöden och till och med utge sig för att vara användare. I vissa fall kunde angripare uppnå ”minnespersistens”, vilket tillåter långvarig tillgång och kontroll.

”De kan manipulera instruktioner, förgifta kunskapskällor och helt ändra agentens beteende”, berättade Greg Zemlin, produktmarknadschef på Zenity Labs, för Cybersecurity Dive. ”Detta öppnar dörren för sabotage, operationella störningar och långsiktig desinformation, särskilt i miljöer där agenter litar på att fatta eller stödja kritiska beslut.”

Forskarna demonstrerade fullständiga attackkedjor mot flera stora företags AI-plattformar. I ett fall kapades OpenAI:s ChatGPT genom en e-postbaserad promptinjektion, vilket tillät åtkomst till ansluten Google Drive-data.

Microsoft Copilot Studio upptäcktes läcka CRM-databaser, med mer än 3 000 sårbara agenter identifierade online. Salesforce’s Einstein-plattform manipulerades för att omdirigera kundkommunikation till angripare-kontrollerade e-postkonton.

Under tiden kunde Googles Gemini och Microsoft 365 Copilot förvandlas till insiderhot, kapabla att stjäla känsliga konversationer och sprida falsk information.

Dessutom lyckades forskare lura Googles Gemini AI att kontrollera smarta hemenheter. Hackningen släckte lampor, öppnade luckor och startade en panna utan kommandon från boende.

Zenity offentliggjorde sina fynd, vilket ledde till att vissa företag utfärdade patchar. ”Vi uppskattar Zenitys arbete med att identifiera och ansvarsfullt rapportera dessa tekniker,” sa en talesperson för Microsoft till Cybersecurity Dive. Microsoft sa att det rapporterade beteendet ”inte längre är effektivt” och att Copilot-agenter har skyddsåtgärder på plats.

OpenAI bekräftade att de har patchat ChatGPT och driver ett bug-bounty-program. Salesforce sa att de har åtgärdat den rapporterade problemen. Google sa att de har utplacerat ”nya, lagerbaserade försvar” och betonade att ”det är avgörande att ha en lagerbaserad försvarsstrategi mot injektionsattacker”, som rapporterats av Cybersecurity Dive.

Rapporten lyfter fram växande säkerhetsproblem när AI-agenter blir allt vanligare på arbetsplatser och litar på att hantera känsliga uppgifter.

I en annan nylig undersökning rapporterades det att hackare kan stjäla kryptovaluta från Web3 AI-agenter genom att plantera falska minnen som överskrider normala skydd.

Säkerhetsbristen finns i ElizaOS och liknande plattformar eftersom angripare kan använda komprometterade agenter för att överföra medel mellan olika plattformar. Den permanenta naturen hos blockchain-transaktioner gör det omöjligt att återhämta stulna medel. Ett nytt verktyg, CrAIBench, syftar till att hjälpa utvecklare att stärka försvar.