Eine der verführerischsten Ideen der KI-Governance lautet derzeit, Modelle sollten sich selbst bewerten. Statt für jede Bereitstellung ein teures externes Testregime aufzubauen, liefert man das Modell mit einem eingebauten Evaluator aus – einer Komponente, die die eigenen Ausgaben bewertet, riskante Anfragen markiert und in Echtzeit nach oben meldet. Das ist billig, skaliert mit der Zahl der Bereitstellungen statt mit der Zahl der Prüfer und erzeugt einen kontinuierlichen Telemetriestrom dort, wo heute bestenfalls ein jährliches Audit steht.
Die Policy-Chefin von Hugging Face ist nicht überzeugt. Sie sagt TechCrunch, eingebettete Evaluatoren seien keine einfache Lösung für das Aufsichtsproblem. Das Argument verdient Aufmerksamkeit, weil es einen strukturellen und nicht einen technischen Mangel benennt.
Der Kern des Einwands: Ein Evaluator, der im Modell lebt, teilt dessen Fehlermuster. Ein Richter, der mit denselben Daten, im selben Labor, mit denselben blinden Flecken trainiert wurde, wird die Problemklasse seines Geschwisters systematisch übersehen. Evaluatoren sind zudem attraktive Ziele: Alles, was im Inferenzpfad sitzt, lässt sich per Prompt adressieren, per Fine-Tuning umgehen oder von demjenigen, der die Bereitstellung betreibt, schlicht abschalten. Ein Modell, das die eigene Hausarbeit benotet, hat einen offensichtlichen Anreizgradienten, sobald ein Teil seiner Belohnung von der Note abhängt.
Der zweite Einwand betrifft Rechenschaft. Externe Evaluierung ist unvollkommen, aber sie erzeugt ein Artefakt – einen Bericht, ein Benchmark-Ergebnis, einen Red-Team-Befund – von jemandem ohne kommerzielles Interesse am Ergebnis. Ein interner Evaluator erzeugt eine Logzeile, sichtbar für den Entwickler und bestenfalls zusammengefasst für die Aufsicht. Geht etwas schief, kann niemand außerhalb des Unternehmens rekonstruieren, was die Sicherheitsschicht gesehen hat oder warum sie schwieg. Governance, die auf Selbstauskunft baut, wird zum Compliance-Ritual: ein Häkchen dafür, dass der Evaluator lief, nicht dafür, dass er wirkte.
Drittens verschiebt „eingebettet" eine öffentliche Entscheidung stillschweigend in privaten Code. Welche Schadenskategorien zählen, welche Schwelle eine Sperre auslöst, wie falsch-positive gegen falsch-negative Ergebnisse abgewogen werden – all das sind politische Entscheidungen. Sie in die Gewichte eines Modells zu legen, macht sie unsichtbar, unversioniert und faktisch unprüfbar.
Nichts davon macht eingebettete Evaluierung nutzlos. Sie ist das richtige Werkzeug für kontinuierliche Überwachung, für das Erkennen von Regressionen nach einer Bereitstellung, die kein externer Benchmark sähe, und für Verteidigung in der Tiefe hinter unabhängigen Tests. Der Fehler ist, sie als Ersatz statt als Ergänzung zu behandeln – und insbesondere zuzulassen, dass sie die langsamere, teurere und konfliktreichere Arbeit externer Evaluierung verdrängt.
Wie sähe ein tragfähiges Regime aus? Vermutlich hybrid: verpflichtende unabhängige Evaluierung vor riskanten Bereitstellungen, eingebettete Überwachung danach und eine Offenlegungspflicht, die die Ausgaben des internen Evaluators auf Anfrage für die Aufsicht verfügbar macht. Die billige Variante ist nur billig, wenn man die Kosten des Nichtwissens nicht mitrechnet.
