Codier-Agenten gehören zu den wirtschaftlich folgenreichsten Anwendungen von Sprachmodellen überhaupt – und das macht die Zahlen, mit denen sie gerankt werden, tragend. Terminal-Bench wurde zu einem der Referenzpunkte dieses Rankings. Version 2.0 erschien nach dem, was die Autoren als umfangreiche menschliche und modellgestützte Prüfung samt Red-Teaming beschreiben – die Version, der man vertrauen sollte.
Ein neues Audit fand in rund 30 Prozent davon Probleme.
Das Papier heißt "Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks" (arXiv 2611.08417) und stammt von E. Kelly Buchanan, Crystal Zhou, Scott W. Linderman und Christopher Ré. Die Reparaturen erscheinen als Terminal-Bench 2.1.
Schulden, keine Bugs
Die Autoren geben dem Fehlermodus einen Namen: Benchmark Maintenance Debt – die wachsende Lücke zwischen dem, was ein Benchmark punktet, und der Fähigkeit, die er messen soll.
Zwei Mechanismen erzeugen sie, und nur einer ist ein Bug. Erstens: Wenn Modelle besser werden, finden sie gültige Lösungen, die bestehende Verifier ablehnen. Die Aufgabe ist in Ordnung, das Modell ist in Ordnung, der Prüfer liegt falsch – und das Modell wird abgewertet, weil es besser ist, als der Test erwartet hat. Zweitens: Die Evaluationsinfrastruktur verschiebt sich unter den Aufgaben weg. Ein Zeitlimit, ein Container-Image, eine Abhängigkeitsversion ändern sich, und eine in einen Test eingebaute Annahme gilt nicht mehr.
Beides hinterlässt keinen Stacktrace. Ein Benchmark, der so verrottet, läuft weiter, liefert weiter Zahlen und wird weiter zitiert.
Was die Reparaturen änderten
Die 30 Prozent zu reparieren war nicht kosmetisch. Auf dem reparierten Benchmark stieg die gemessene Genauigkeit um mehr als zehn Prozentpunkte – ein Ausschlag größer als der Abstand zwischen vielen benachbarten Model Releases. Leaderboard-Positionen verschoben sich um bis zu drei Ränge.
Die Gesamtordnung hielt allerdings: die Korrelation zwischen alter und neuer Rangliste liegt bei Spearman rho = 0,958. Die beruhigende Lesart: die Leiter stimmt im Großen. Die unangenehme: die einzelnen Sprossen stimmen nicht – und der Käufer entscheidet sich für eine Sprosse.
Die Uhr gehört zum Maßstab
Der zweite Befund reicht weiter als Benchmarks. Ressourcenzuteilung ist kein neutrales Harness-Detail; sie ist Teil der Messspezifikation.
Eine Verlängerung des Zeitlimits schloss eine 20-Punkte-Harness-Lücke bei GPT 5.4 und schrumpfte eine 30-Punkte-Lücke bei GPT 5.4 mini auf fünf Punkte. Gleiches Modell, gleiche Aufgaben, andere Wanduhr – und eine Lücke, die wie ein Modellunterschied aussah, war überwiegend ein Budgetunterschied. Die meisten veröffentlichten Agenten-Evaluationen setzen ein einziges Turn-Budget über Modelle sehr unterschiedlicher Geschwindigkeit und berichten die entstehende Streuung als Fähigkeit.
Wartung als Workflow
Der vorgeschlagene Prozess ist unspektakulär und handelt vor allem davon, der Automatisierung nicht das letzte Wort zu geben: Community-Meldungen, Aufgabenartefakte, Agenten-Traces, automatisierte Oracle-Checks und menschlich freigegebene Reparaturen. Das menschliche Gate zählt. Ein Benchmark, der automatisch von den Modellen repariert wird, die er bewertet, ist ein geschlossener Kreis mit einer Zahl am Ende.
Im Timing steckt ein größerer Punkt. Terminal-Bench hat seither weitere Hauptversionen durchlaufen, und jede erbt dieselbe Pflicht: Die Reparaturen, die 2.1 hervorbrachten, waren an einem bereits validierten Benchmark nötig, und nichts an der nächsten Version beendet das.
Wer einen Codier-Agenten-Score zitiert – in einem Launch-Post, einer Beschaffungsnotiz, einem Screenshot der Rangliste –, stellt künftig eine Frage, die zwei Wörter länger ist: welche Version, und wann wurde sie zuletzt validiert? Ein Benchmark ist Software. Software ist nie fertig, und eine Zahl ohne Wartungsprotokoll dahinter ist eine Behauptung, keine Messung.

