Benchmarks sind zur Ratingagentur der künstlichen Intelligenz geworden: Eine einzige Zahl entscheidet, welche Modelle gefördert, welche in regulierten Bereichen eingesetzt werden — und welche Schlagzeilen sich von selbst schreiben. Quanta Magazines Porträt der Bemühungen, Benchmarking von einer Dunkelkunst zu einer Wissenschaft zu machen, kommt zu einer vertrauten Diagnose: Die Zahlen, die dieses Gewicht tragen, sind in der Praxis weit schwächer, als es ihre Nachkommastellen nahelegen.
Drei Fehlerarten sind inzwischen gut dokumentiert. Kontamination: Testdatensätze, die vor Jahren veröffentlicht wurden, tauchen mit schöner Regelmäßigkeit in Vortrainingskorpora wieder auf — ein Modell kann also gut abschneiden, weil es die Prüfung faktisch gesehen hat. Sättigung: Benchmarks, die 2021 als schwer galten, werden heute mit Raten bestanden, die keinen Raum mehr lassen, um die Spitze zu trennen. Und Gaming: Wird ein Wert zum Marketinggut, fließt Aufwand in die Optimierung der Metrik statt der Fähigkeit, die sie abbilden sollte.
Das tiefere Problem ist institutioneller Natur. Anders als ein physikalisches Ergebnis kommt ein KI-Benchmark-Wert meist ohne Fehlerbalken, ohne vorab registriertes Protokoll und ohne unabhängige Replikation — zitiert wird er dennoch mit der Sicherheit einer Messung.
Daraus folgt die Reformagenda: zurückgehaltene und laufend erneuerte Evaluierungsdaten; eine Berichtspraxis, die statistische Unsicherheit von Lauf-zu-Lauf-Streuung trennt; die genaue Angabe von Prompt, Scaffold und Sampling-Einstellungen; adversariale Audits durch Parteien ohne eigenes Interesse am Ergebnis; und Infrastruktur, die es Dritten erlaubt, einen behaupteten Wert zu reproduzieren, statt ihn zu glauben.
Nichts davon ist exotisch — es ist der gewöhnliche Apparat empirischer Wissenschaft, angewandt auf ein Feld, das schneller gewachsen ist als seine Messdisziplin. Quanta fängt einen Stimmungswandel ein: Evaluierung wird von einer Marketingübung zu einem Forschungsprogramm mit eigenen Methoden, eigener Fehlerliteratur und eigenen Gutachtern.
Für alle, die auf Basis einer Benchmark-Zahl entscheiden müssen — Beschaffungsteams, Regulierer, Forschende auf der Suche nach einer Baseline —, lautet die praktische Konsequenz: den Wert als Behauptung behandeln, nicht als Tatsache. Wer hat Daten zurückgehalten, wie groß ist die Streuung, und wer hat versucht, den Wert zu brechen?
