AI-agenter lurade av falska minnen, vilket möjliggör krypto-stöld

En ny forskningsstudie avslöjade betydande säkerhetsbrister i Web3 AI-drivna agenter, vilka låter angripare använda falska minnen för att utföra obehöriga kryptovalutatransaktioner.

Forskare från Princeton University och Sentient Foundation upptäckte att dessa AI-agenter, designade för att hantera blockchain-baserade uppgifter som att handla med kryptovalutor och hantera digitala tillgångar, är sårbara för en taktik som kallas kontextmanipulation.

Attacken fungerar genom att rikta in sig på minnessystemen hos plattformar som ElizaOS, vilket skapar AI-agenter för decentraliserade applikationer. Minnessystemet hos dessa agenter lagrar tidigare konversationer för att använda dem som vägledning för sina framtida val.

Forskarna visade att angripare kan bädda in vilseledande kommandon i minnessystemet, vilket får AI:n att skicka pengar från den avsedda plånboken till en plånbok som kontrolleras av angriparen. Larmet går att dessa falska minnen kan röra sig mellan plattformar.

Till exempel kan en agent som har blivit komprometterad på Discord senare göra felaktiga överföringar via X, utan att inse att något är fel.

Det som gör detta särskilt farligt är att standardförsvarsåtgärder inte kan stoppa denna typ av attack. Behandlingen av falska minnen som äkta instruktioner gör grundläggande prompt-baserade säkerhetsåtgärder ineffektiva mot denna typ av attack.

Alla blockchain-transaktioner blir permanenta så det finns ingen möjlighet att återställa stulna medel. Problemet blir värre eftersom vissa AI-agenter lagrar minne över flera användare så att ett enda säkerhetsbrott kan påverka många användare.

Forskarteamet testade flera metoder för att förhindra detta, inklusive justering av AI-utbildning och krav på manuell godkännande för transaktioner. Även om dessa metoder ger ett visst hopp, kommer de med en kostnad av att sänka automationen.

Problemet sträcker sig bortom kryptovaluta. Samma sårbarhet kan påverka allmänna AI-assistenter, vilket riskerar dataförluster eller skadliga handlingar om angripare ändrar deras minne.

Denna sårbarhet är särskilt oroande i ljuset av nya rön där 84% av IT-ledare litar på AI-agenter lika mycket som eller mer än mänskliga anställda, och 92% förväntar sig att dessa system ska driva affärsresultat inom 12 till 18 månader.

För att lösa problemet släppte forskarna ett verktyg som heter CrAIBench för att hjälpa utvecklare att testa sina system och bygga starkare försvar. Fram till dess varnar experter användare att vara försiktiga när de anförtror AI-agenter med finansiella beslut.