AI-hallucinationer utgör nu ett hot mot cybersäkerheten

Studien visar att AI-chattrobotar rekommenderar falska inloggningssidor till miljontals användare, vilket utsätter dem för risken för phishing och bedrägeri, under förevändning av hjälpsamma svar.

I sin studie, testade cybersäkerhetsföretaget Netcraft en populär stor språkmodell (LLM) genom att fråga var man ska logga in på 50 välkända varumärken. Av de föreslagna 131 webbplatslänkarna var 34% av dessa felaktiga, med inaktiva eller oregistrerade domäner som utgjorde 29%, och orelaterade företag stod för 5%.

Denna fråga är inte teoretisk. I ett verkligt exempel visade den AI-drivna sökmotorn Perplexity en phishing-webbplats för en användare som sökte efter Wells Fargo inloggningssida. En falsk Google Sites-sida som imiterade banken dök upp högst upp i sökresultaten, medan den autentiska länken var dold längre ner.

Netcraft förklarade ”Dessa var inte kantfallande uppmaningar. Vårt team använde enkel, naturlig formulering, som simulerade exakt hur en typisk användare kan fråga. Modellen blev inte lurad – den var helt enkelt inte korrekt. Det spelar roll, eftersom användare i allt högre grad förlitar sig på AI-drivna sök- och chattgränssnitt för att svara på den här typen av frågor.”

När AI blir standardgränssnittet på plattformar som Google och Bing, ökar risken. Till skillnad från traditionella sökmotorer, presenterar Chatbots information tydligt och med självförtroende, vilket leder till att användare litar på deras svar, även när informationen är felaktig.

Hotet slutar inte vid phishing. Moderna cyberbrottslingar optimerar sitt skadliga innehåll för AI-system, vilket resulterar i tusentals bluffsidor, falska API:er och förgiftad kod som glider förbi filter och hamnar i AI-genererade svar.

I en kampanj skapade angripare en falsk blockchain API, som de marknadsförde genom GitHub-repositorier och bloggartiklar, för att lura utvecklare att skicka kryptovaluta till en bedräglig plånbok.

Netcraft varnar för att det inte är tillräckligt att registrera falska domäner i förväg. Istället rekommenderar de smartare detekteringssystem och bättre utbildningsåtgärder för att förhindra att AI från början hittar på skadliga URL:er.