Zwei Jahre lang bedeutete 'KI-Crawler fernhalten' eine Liste zu pflegen: GPTBot, Google-Extended, ClaudeBot, CCBot – und alle paar Monate ein neuer Eintrag. Am 30. Oktober erklärten vier der größen Labore, dass sie künftig auch eine einzige Zeile akzeptieren.
OpenAI, Google, Microsoft und Anthropic verpflichteten sich, ein gemeinsames Policy-Token in der robots.txt anzuerkennen – usage_ai-training –, mit dem eine Website ihre Präferenz gegenüber allen vier Anbietern gleichzeitig ausdrücken kann. Definiert ist das Signal in einem individuellen Entwurf bei der Internet Engineering Task Force, verfasst von Kevin Kelley, einem Technical Lead für Standards bei Anthropic. Die bestehenden, crawler-spezifischen Einträge bleiben daneben gültig.
Die Termine sind die eigentliche Nachricht. Anthropic erklärt, bereits begonnen zu haben. OpenAI will das Signal 'in den kommenden Monaten' ausrollen. Google plant die Einführung irgendwann im Jahr 2027. Microsoft beginnt laut eigenem Blogbeitrag am 1. Februar 2027. Metas Kommunikationschef Andy Stone begrüßte die Initiative, ohne sich festzulegen, ob Meta das Signal befolgen wird.
Und die Voreinstellungen haben sich nicht bewegt. Inhalte bleiben abrufbar, solange eine Seite nicht aktiv widerspricht, schrieb Microsoft. Das Signal gilt für künftige Trainingsläufe, nicht für das Crawling selbst: Wer widerspricht, kann weiterhin abgerufen, indexiert und zusammengefasst werden. Google und Microsoft warnten zudem, dass ein Training-Opt-out die Sichtbarkeit in KI-Antworten verringern kann – damit wird aus einer Rechtsfrage eine Traffic-Frage.
Der Hintergrund ist Streit und Druck. Die New York Times verklagte OpenAI und Microsoft im Dezember 2023 wegen des Trainings mit ihren Artikeln. Cloudflare blockiert seit Juli 2025 KI-Crawler bei neuen Kundenseiten standardmäßig. Meta hat seine umstrittenen Geschäftsbedingungen, die Verlage als pauschale Scraping-Lizenz lesen, erneut verschoben – nun auf den 20. November.
Im Kern ist die Ankündigung ein Zugeständnis beim Protokoll und eine Weigerung bei der Voreinstellung. Verlage erhalten eine Zeile statt neun – dafür, dass sie akzeptieren, dass Schweigen Zustimmung bedeutet und dass die Zeile für weitere 14 Monate nirgends durchgesetzt wird.
Was jetzt zu tun ist: Token eintragen, wenn die Präferenz dokumentiert sein soll; die bestehenden crawler-spezifischen Regeln behalten; und KI-Referral-Traffic vor und nach der Umstellung messen – die Sichtbarkeitskosten sind real und bei den vier Anbietern nicht gleich.
