Der stille Handel des offenen Webs – man darf crawlen, solange niemand widerspricht – wird zugunsten der Crawler umgeschrieben. Laut Golem hat Meta seine Nutzungsbedingungen so geändert, dass Websites den KI-Zugriff erlauben müssen. Damit wird aus einer Erlaubnis, die Seiten mit einer Zeile in der robots.txt verweigern konnten, beinahe eine im Vertrag verankerte Pflicht.
Die Mechanik ist wichtiger als die Formulierung. Die robots.txt ist eine Konvention, kein Gesetz: Sie wird durch Anstand durchgesetzt und zunehmend durch Infrastruktur. Schreibt eine Plattform den KI-Zugriff in ihre Bedingungen, bittet sie den Crawler nicht mehr um Wohlverhalten, sondern verlangt vom Seitenbetreiber, die Regelung als Voraussetzung für die Nutzung der Dienste zu akzeptieren. Für einen Betreiber, der von Metas Pixel, Login-Buttons oder Werbetools abhängt, ist eine Ablehnung keine technische Einstellung, sondern eine Geschäftsentscheidung.
Der Schritt fällt mitten in ein Wettrüsten um Trainingsdaten. Verlage rüsten seit zwei Jahren auf: Pay-per-Crawl-Modelle bei CDNs, einzeln ausgehandelte Lizenzen und technische Opt-outs, auf die sich die EU-Regeln zum Text- und Data-Mining stützen, weil sie Rechteinhabern einen Vorbehalt erlauben. Die KI-Unternehmen halten dagegen, das offene Web sei offen – und werden forscher, seit der Datenhunger der Modelle das Angebot lizenzierter Texte übersteigt.
Für Website-Betreiber lautet die praktische Frage nicht, ob Crawling legal ist, sondern ob sie es erkennen, bepreisen oder stoppen können. Metas Bedingungen, wie berichtet, verschieben die Standardantwort: Statt zu fragen, ob Meta nehmen darf, setzt der Vertrag voraus, dass es darf. Ähnliche Klauseln dürften anderswo auftauchen – und die Frage, wer Nein sagen darf, wandert weiter aus Entwicklerforen ins Vertragsrecht.
