Cloudflare låter webbplatser ta betalt av AI-robotar med ‘Betala per sökning’

Cloudflare ger nu utgivare ett nytt alternativ: att ta betalt från AI-robotar för att de ska kunna krypa igenom deras webbplatser med hjälp av ett återupplivat HTTP 402-betalningssystem.

Genom sitt nya ”Pay Per Crawl”-system kan webbplatsägare ta betalt från AI-robotar för att få tillgång till deras innehåll. Systemet erbjuder publicister ett alternativt tillvägagångssätt från deras nuvarande tvåvalspolicy, som antingen tillåter AI-data skrapning, eller komplett blockering av AI-åtkomst.

”Många förläggare, innehållsskapare och webbplatsägare känner för närvarande att de har ett binärt val – antingen lämna ytterdörren vidöppen för AI att konsumera allt de skapar, eller skapa sin egen inhägnade trädgård,” sa Cloudflare. ”Men vad om det fanns ett annat sätt?”

Med Pay Per Crawl kan innehållsskapare nu bestämma vem som kommer in och till vilket pris. De kan låta vissa AI-crawlare komma in gratis, blockera andra helt eller ta betalt för tillträde. ”Vi ville att innehållsskapare ska ha kontroll över vem som får tillgång till deras arbete,” sa Cloudflare. ”Skaparna bör sitta i förarsätet.”

Flytten kommer mitt i en växande motreaktion mot AI-företag som använder webbinnehåll utan samtycke. Till exempel har YouTube kritiserats för att tillåta Google att skrapa video utan att meddela skaparna. Dessutom har Googles AI Overviews-funktion minskat trafiken till nyhetssajter som HuffPost och The Washington Post med mer än 50%.

“Google tar bara innehåll med våld och använder det utan motprestation – definitionen av stöld”, sade Danielle Coffey, ordförande för News/Media Alliance.

Verktyget fungerar med hjälp av en gammal webbfunktion: HTTP-svarskoden 402, vilket står för ”Betalning krävs”. Om en AI-bot försöker komma åt en sida, kan servern nu svara med en 402 och inkludera en prislapp. Om boten går med på att betala, levererar servern innehållet.

Cloudflare tillhandahåller den tekniska infrastrukturen och hanterar betalningar. Utgivare kan sätta ett fast pris per crawl-förfrågan och till och med tillämpa olika regler för olika båtar. Även om en bot inte är registrerad hos Cloudflare, kan den fortfarande bli ”debiterad” – i princip blockera tillgången, men lämnar utrymme för framtida avtal.

Detta system kan leda till mer flexibel licensiering och dynamisk prissättning i framtiden. Som Cloudflare uttrycker det: ”Genom att tillhandahålla skapare med en robust, programmerbar mekanism för att värdera och kontrollera sina digitala tillgångar, ger vi dem möjlighet att fortsätta skapa det rika, varierade innehåll som gör internet ovärderligt.”