Vier der größten KI-Unternehmen des Westens haben sich auf etwas geeinigt, und es passt in eine robots.txt-Datei.
Am 30. Oktober erklärten OpenAI, Google, Microsoft und Anthropic, das gemeinsame "Policy-Token" `__usage_ai-training` zu respektieren. Es erlaubt einer Website, ihre Präferenz zum KI-Training einmal zu erklären, statt sie Anbieter für Anbieter auszuhandeln. Der Mechanismus nutzt die bestehende robots.txt-Grammatik:
``` User-Agent: __usage_ai-training Disallow: / ```
Diese eine Gruppe teilt jedem teilnehmenden Crawler mit, dass die Inhalte der Seite für Training gesperrt sind. Wer Ausnahmen will, formuliert sie mit `Allow:`-Zeilen.
Der Vorschlag stammt von Kevin Kelley, Technical Lead für Standards bei Anthropic, und ist als individueller IETF-Internet-Draft eingereicht – "Machine-Readable Training Preference Signal", datiert auf den 30. Oktober, gültig bis 3. Mai 2027. Ein individueller Entwurf ist kein IETF-Standard und hat im Standardisierungsprozess kein formales Gewicht. Dieses Detail sollte man im Blick behalten, denn die Ankündigung liest sich wie ein Standard und ist noch keiner.
Was das Token tut – und was nicht
- Es regelt Training, nicht Abruf. In der Formulierung des Entwurfs selbst ist das Token "keine Anweisung für Crawling-Verhalten". Ein Bot darf die Seite weiter abrufen; er soll nur nichts daraus lernen. - Es wirkt nicht rückwärts. Eine Zeile in robots.txt entfernt nichts, was bereits in einem Datensatz liegt oder in ein Modell eingerechnet wurde. - Es ist Koordination, keine Sicherheitskontrolle. OpenAI beschreibt den Mechanismus nach RFC 9309: Crawler, die nicht kooperieren wollen, können ihn ignorieren – und die Seiten, die Hebel am nötigsten hätten, kleine Verlage, haben am wenigsten davon.
Die Zeitpläne sind ungleich, und darin liegt die eigentliche Geschichte. Anthropic hat nach eigenen Angaben mit der Umsetzung begonnen. OpenAI will das Signal "in den kommenden Monaten" implementieren. Microsoft nennt den 1. Februar 2027 und will Training und "Grounding" – das Hereinholes lebender Seiten in Antworten – als getrennte Schalter führen. Google nennt 2027 und erklärt, eine Website, die über das Token aussteigt, ohne Google-Extended zu nennen, werde als Google-Extended-Ablehnung gelesen. Googles John Mueller formulierte es so, das Token helfe Websites, "ihre KI-Trainingspräferenzen gegenüber mehreren Anbietern in einem Schritt" auszudrücken.
Meta ist nicht dabei. Kommunikationschef Andy Stone nannte ein gemeinsames Signal "einen wichtigen Schritt" und sagte, das Unternehmen freue sich auf die Zusammenarbeit mit anderen KI-Firmen an Standards und Umsetzung – Unterstützung dem Prinzip nach, ohne Zusage, sich daran zu halten.
Warum es trotzdem zählt
Drei Jahre lang gab es nur einen Weg, aus dem KI-Training auszusteigen: für jedes Labor eine eigene, anders geschriebene Ausnahme pflegen – hier Google-Extended, dort ein crawler-spezifischer User-Agent, und ein IP-Block, wenn Höflichkeit nicht half. Diese Asymmetrie begünstigte die großen Verlage, die sich die Betriebsarbeit leisten konnten, und ließ alle anderen raten. Ein einziges Token senkt die Kosten des Nein-Sagens wirklich – und die Teilnehmerliste zeigt, dass die Branche das weiß: An der Diskussion des Entwurfs sind Meta, Cloudflare, die Common Crawl Foundation, News Corp, die Financial Times, die BBC, die Electronic Frontier Foundation und Creative Commons beteiligt.
Und sie fällt in einen arbeitsreichen Monat desselben Streits. Cloudflare blockiert KI-Crawler inzwischen standardmäßig; der Really Simple Licensing Standard erlaubt es Verlagen, Crawler-Zugriff zu bepreisen. Ein freiwilliges Token, das vier Anbieter zu respektieren versprechen, ist ein anderer Zugang zum selben Problem: keine Mauer, eine Konvention.
Der Test ist nicht die Pressemitteilung. Der Test ist, ob das Token als Arbeitsgruppen-Dokument statt als individueller Entwurf wiederkommt, ob die vier es gegen das eigene Interesse einhalten, wenn eine wertvolle Seite aussteigt – und ob jemand außerhalb der Unterzeichner folgt, allen voran Meta.
