Cloudflare hat der KI-Industrie eine harte Frist gesetzt. Ab dem 15. September 2026 werden die Standardeinstellungen des Webinfrastruktur-Giganten 'gemischt genutzte' Crawler blockieren — Bots, die traditionelle Suchindexierung mit KI-Trainingsdatensammlung und Agentenoperationen kombinieren — auf allen Seiten, die Werbung hosten.
Dies ist der aggressivste Schritt einer großen Internetplattform, um KI-Unternehmen zu zwingen, für die von ihnen genutzten Inhalte zu zahlen. CEO Matthew Prince betonte, dass Bots erstmals den menschlichen Verkehr im Internet übertroffen haben — ein Meilenstein, der erst für nächstes Jahr erwartet wurde.
Cloudflare entwickelt außerdem seinen Pay-Per-Crawl-Marktplatz zu 'Pay Per Use' weiter, sodass Verleger KI-Unternehmen belasten können, wenn ihre Inhalte einen Mehrwert schaffen. Zu den ersten Partnern gehören Ceramic.ai und You.com.
Für KI-Modellanbieter, die auf Daten in Webgrößenordnung angewiesen sind, markiert die Frist vom 15. September einen grundlegenden Wandel in der Ökonomie der Trainingsdatenerfassung.
