Cloudflare-forskare hävdar att Perplexity skrapar webbplatser trots AI Bot Block

Forskare från internetinfrastrukturleverantören Cloudflare hävdar att AI-systemet Perplexity har skrapat innehåll från webbplatser utan tillstånd, även när utgivare har implementerat AI-bot-blockeringar.

Enligt den rapport som Cloudflare delade på måndagen, kryper Perplexity på webbplatser med sin standardanvändaragent och byter identitet för att kringgå dessa blockeringar. Detta beteende av ”stealth crawling” bekräftades av Cloudflares experter.

”Vi ser kontinuerligt bevis på att Perplexity upprepade gånger ändrar sin användaragent och ändrar sina käll-ASNs för att dölja sin krypningsaktivitet, samt ignorerar – eller ibland misslyckas med att ens hämta – robots.txt-filer,” skrev forskarna.

Crawlers förväntas vara transparenta, tydligt ange sitt syfte och respektera webbsidors preferenser, men forskare hävdar att Perplexity inte har följt dessa förtroendeprinciper. Denna slutsats nåddes efter en utredning som utlöstes av kundklagomål.

”Vi mottog klagomål från kunder som både hade förbjudit Perplexitys indexering i sina robots.txt-filer och även skapat WAF-regler för att specifikt blockera båda Perplexitys deklarerade sökmotorer: PerplexityBot och Perplexity-User,” skrev forskarna. ”Dessa kunder berättade för oss att Perplexity fortfarande kunde komma åt deras innehåll även när de såg att dess bots framgångsrikt blockerades.”

Cloudflare-forskare sa att de verifierade dessa påståenden genom att replikera blockeringarna och genomföra flera tester för att observera sökmotorns beteende. I ett test skapade de nya domäner som ännu inte hade indexerats och inkluderade robots.txt-filer för att blockera ”respektfulla bots”. Senare sökte de hos Perplexity efter specifik information om de begränsade domänerna och fann att den AI-drivna svarsmotorn fortfarande gav detaljer och korrekt information om webbplatsen.

”Denna respons var oväntad, eftersom vi hade vidtagit alla nödvändiga försiktighetsåtgärder för att förhindra att deras sökmotorer kunde hämta denna data,” tillade forskarna.

En talesperson från Perplexity, Jesse Dwyer, kallade forskningen för ett ”publicitetstrick” i ett uttalande för The Verge. Dwyer tillade att det finns ”missförstånd” i Cloudflares rapport.

Cloudflare har utvecklat flera verktyg för att hjälpa utgivare att förhindra obehörig AI-krypning. I mars släppte Cloudflare ”AI Labyrinth”, ett verktyg som omdirigerar obehöriga sökmotorer till AI-genererade innehållslabyrinter. Förra månaden lanserade det ”Pay Per Crawl”, ett system för att ta betalt av AI-bots för att få tillgång till utgivares innehåll.