Cloudflare pozycjonuje się jako pierwszy dostawca infrastruktury internetowej, który domyślnie blokuje roboty AI, uzyskujące dostęp do treści bez pozwolenia lub wynagrodzenia. Od teraz, nowi klienci Cloudflare automatycznie zablokują roboty indeksujące AI, natomiast dotychczasowi użytkownicy mogą aktywować tę opcję jednym kliknięciem w panelu, co zmienia format pobierania treści z opt-out na opt-in.
Inicjatywa Pay Per Crawl to nowa propozycja Cloudflare, która pozwala twórcom treści ustalać stawki i otrzymywać wynagrodzenie od usług AI, zainteresowanych indeksowaniem ich zawartości. Wydawcy zyskują pełną kontrolę nad dostępem do swoich treści, mogąc blokować wszystkie roboty AI, zezwalać na dostęp wybranym, pobierać opłaty lub udzielać bezpłatnego dostępu. Właściciele robotów indeksujących AI będą mogli korzystać z Pay Per Crawl, aby sprawdzać ceny i decydować o ewentualnych płatnościach. Ceny będą ustalane wspólnie przez wydawców, którzy ustalają stawki, oraz przez firmy AI, które zdecydują, czy chcą uzyskać dostęp do stron internetowych po tych cenach.
Do wydawców, którzy ogłosili swoje uczestnictwo w tej inicjatywie, należą m.in.: ADWEEK, Atlas Obscura, BuzzFeed, Inc., Fortune, Stack Overflow, News/Media Alliance, The Atlantic, Battelle Media, Evolve Media, Hyperscience, IAB Tech Lab, O’Reilly Media, Quora, Raptive, Sovrn, Inc., StockTwits, Third Door Media (w tym Search Engine Land i Martech), TIME oraz Webflow.
