Cloudflare hat angekündigt, dass ab dem 15. September 2026 alle neuen Domains, die dem Cloudflare-Netzwerk beitreten, neue Standardeinstellungen erhalten: KI-Training- und Agent-Crawler werden auf werbefinanzierten Seiten standardmäßig blockiert, während Search-Crawler erlaubt bleiben.
Das Update führt eine dreistufige KI-Traffic-Taxonomie ein, die Website-Betreibern feinere Kontrolle gibt: Search (Crawlen zur Indexierung von Inhalten), Agent (Bots, die in Echtzeit im Auftrag einer Person handeln) und Training (Crawler, die Inhalte zum Trainieren oder Feinjustieren von Modellen übernehmen).
Eine wichtige Neuerung ist das Content-Use-Signal, das zu robots.txt hinzugefügt werden kann, mit drei Stufen: immediate, reference und full. Bots, die Inhalte vollständig reproduzieren, verlieren ihren Verifizierten-Status.
Die Änderung führt außerdem transitive Trust ein und nutzt den Forwarded-Header (RFC 7239), um Website-Betreibern zu ermöglichen, der Identität eines Betreibers zu vertrauen, auch wenn der Traffic über Zwischeninstanzen kommt.
