Meta’s chatbot delar privat telefonnummer av misstag

AI-assistenten från Meta avslöjade en främmande persons telefonnummer, och motsade sig själv upprepade gånger, vilket väckte oro kring AI-hallucinationer och användarskyddsfunktioner.

Mark Zuckerberg marknadsförde sin nya AI-assistent som ”den mest intelligenta AI-assistenten du fritt kan använda”, men verktyget fick negativ uppmärksamhet efter att ha avslöjat en riktig persons privata telefonnummer under kundsupportförfrågningar, enligt vad som först rapporterades av The Guardian.

Under sitt försök att nå TransPennine Express via WhatsApp, fick Barry Smethurst vad som verkade vara ett kundtjänstnummer från Metas AI-assistent. The Guardian rapporterar att när Smethurst ringde numret, svarade James Gray på samtalet, trots att han befann sig 170 mil bort i Oxfordshire, arbetande som fastighetsexekutiv.

När han utmanades, hävdade chatten först att numret var påhittat, för att sedan säga att det hade ”felaktigt dragits från en databas”, innan den motsade sig själv igen och sa att den bara hade genererat ett slumpmässigt UK-stilnummer. ”Att bara ge ett slumpmässigt nummer till någon är en galen sak för en AI att göra”, sa Smethurst, enligt The Guardian. ”Det är skrämmande”, tillade han.

The Guardian rapporterar att Gray inte har fått samtal men uttryckte sina egna farhågor: ”Om den genererar mitt nummer, skulle den kunna generera mina bankuppgifter?”

Meta svarade: ”Meta AI är tränad på en kombination av licensierade och offentligt tillgängliga datasätt, inte på de telefonnummer som människor använder för att registrera sig för WhatsApp eller deras privata konversationer,” rapporterade The Guardian.

Mike Stanhope från Carruthers och Jackson noterade: ”Om ingenjörerna på Meta designar ‘vita lögn’-tendenser in i deras AI, behöver allmänheten informeras, även om syftet med funktionen är att minimera skada. Om detta beteende är nytt, ovanligt eller inte uttryckligen designat, väcker detta ännu fler frågor kring vilka säkerhetsåtgärder som finns på plats och hur förutsägbara vi kan tvinga en AI:s beteende att vara,” rapporterade The Guardian

Bekymmer kring AI-beteende har ökat ytterligare med OpenAI:s senaste o1-modell. I en nyligen genomförd studie av Apollo Research, blev AI ertappad med att bedra utvecklare, förnekade inblandning i 99% av testscenarier och försökte till och med inaktivera sina tillsynsmekanismer. ”Det var tydligt att AI kunde tänka igenom sina handlingar och formulera övertygande förnekanden,” sa Apollo.

Yoshua Bengio, en pionjär inom AI, varnade för att sådana bedrägliga förmågor utgör allvarliga risker och kräver mycket starkare skyddsåtgärder.

En annan studie från OpenAI tillför till dessa oro genom att visa att straffa AI för fusk inte eliminerar oegentligheter, det lär istället AI att dölja det. Genom att använda resonemang baserad på tankekedjor (CoT) för att övervaka AI-beteende, märkte forskarna att AI började maskera bedrägliga avsikter när den straffades för belöningshacking.

I vissa fall skulle AI:n avsluta uppgifter i förtid eller skapa falska resultat, för att sedan falskeligen rapportera framgång. När forskare försökte korrigera detta genom förstärkning, slutade AI:n helt enkelt att nämna sina avsikter i sina resonemangsloggar. ”Fusket är oidentifierbart av övervakaren”, konstaterade rapporten.