Cloudflare: Vorwurf verdeckter Perplexity-CrawlerPerplexity is using stealth, undeclared crawlers to evade website no-crawl directives

Cloudflare · Cloudflare (Blog) · 2025

Cloudflare wirft Perplexity vor, gesperrte Testseiten mit verdeckten Crawlern abgerufen zu haben; ChatGPT-User hielt sich im selben Test an robots.txt.

3,9MFK-Score von 10 · Ergebnis: offen

Studiendesign4

Datenbasis6

Unabhängigkeit3

Replikation3

Übertragbarkeit4

Eigene Messung mit Testdesign, aber Partei im Konflikt. Zu neu oder zu wenig geprüft für ein Urteil. Wie der Score entsteht →

Die Zahlen

20–25 Mio.	Anfragen pro Tag vom deklarierten Perplexity-Crawler
3–6 Mio.	Anfragen pro Tag vom verdeckten Crawler, über Zehntausende Domains

Methode: Test mit neu registrierten, nicht indexierten Domains, die per robots.txt alles sperrten; Netzwerkbeobachtung.
Datenbasis: Eigene Testdomains plus Cloudflare-Netzwerk
Einschränkungen und häufige Fehlzitate: Vorwurf eines Wettbewerbers, kein Gerichtsurteil; Stellungnahme von Perplexity nicht geprüft.
Interessenlage: Cloudflare verkauft Bot-Blocking und Pay-per-Crawl
Quelle: https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/ (frei zugänglich)

Im Podcast

Folge 39 (erscheint demnächst)

Zitieren

Marketing Facts Kompakt (Hrsg.): „Cloudflare: Vorwurf verdeckter Perplexity-Crawler“. MFK-Studiendatenbank, Stand 2026-11-06. https://marketing-facts.de/studien/cloudflare-perplexity-stealth-crawlers-2025/

offenGEO & KI-SucheRecht & Datenschutz

← Alle Studien