Das Allen Institute for AI hat StateBench veröffentlicht, einen Benchmark für State Tracking über lange Kontexte: Wie gut halten Sprachmodelle fest, was mit den Entitäten in einem Dokument passiert, während sich ihr Zustand ändert? Das klingt nach einer Nische, ist aber der Kern sehr unterschiedlicher Aufgaben, vom Lesen von Code, in dem Variablen zugewiesen und neu zugewiesen werden, bis zum Verfolgen einer Figur, die Gegenstände weitergibt.
StateBench staffelt die Schwierigkeit in vier Stufen, die sich als Arten der Zuweisung lesen lassen. Auf der ersten ist ein Wert unveränderlich, wie ein Geburtsdatum. Auf der zweiten wird per Wert neu zugewiesen, wie an einem Thermostat: Die letzte Einstellung gilt. Auf der dritten bauen Updates auf dem aktuellen Wert auf, x = x + 5, wie ein Spielstand. Auf der vierten wird per Referenz zugewiesen, x = y: Ein Wert hängt von einem anderen ab. Das entspricht dem S₅-Problem, dem Hütchenspiel mit fünf Bechern, bei dem aufeinanderfolgende Tauschvorgänge verfolgt werden müssen. Die Abstufung ist nicht bloß didaktisch; sie folgt der Krohn-Rhodes-Theorie, die Zustandsprobleme in atomare Bausteine zerlegt. Um fair zu vergleichen, erzeugt StateBench aus derselben Zuweisungsfolge vier Varianten mit identischer Zahl an Variablen und Werten und identischen Zuweisungszeitpunkten, die sich nur in der Art der Zuweisung unterscheiden.
Bei vortrainierten offenen Modellen, darunter Olmo 3 als reiner Transformer und Olmo Hybrid mit Gated-DeltaNet-Layern, zeigte sich ein klares Muster: fast alle waren auf der ersten Stufe gut, verloren auf der zweiten mit wachsender Eingabelänge an Genauigkeit und blieben auf der vierten auf Zufallsniveau. Auch das Format zählt: Kleine Hybride erreichten auf der ersten Stufe nahezu volle Werte, wenn die Aufgabe wie in RULER formuliert war, und lagen nahe Zufall, wenn dieselbe Aufgabe als Bearbeitung einer Tabellenkalkulation daherkam.
Vier Frontier-Modelle — Gemini 3.8 Flash, Claude Opus 5.5 sowie GPT-6 Sol und Luna — zeigten dasselbe Muster in größerem Maßstab. Auf den ersten beiden Stufen waren alle sicher. Auf der dritten und vierten fiel die Genauigkeit mit zunehmender Länge steil ab und erreichte bei den längsten Aufgaben der vierten Stufe höchstens 13 Prozent. Ai2 nennt als plausiblen Faktor die Sensitivität: Auf diesen Stufen können sehr viele Schritte die Endantwort beeinflussen, ein einziger übersehener Update kippt das Ergebnis.
Der aufschlussreichste Teil ist das Training von Grund auf. Ai2 trainierte 275-Millionen-Parameter-Modelle direkt auf StateBench, mit Sequenzen von höchstens 256 Zuweisungen, und testete sie auf bis zu 64.000, dem 250-Fachen. Gated DeltaNet und hybride Modelle verallgemeinerten nahezu perfekt über zehntausende Zuweisungen. Transformer lernten die leichteren Stufen, wurden auf langen Sequenzen schlechter und lernten die vierte Stufe nie, auch nicht mit direktem Training. Für die rekurrenten und hybriden Architekturen liegt die Lücke also im Training, für Transformer in der Architektur.
Offen bleibt genug. Ein neuer Beweis zeigt, dass Gated DeltaNet mit eingeschränkterem Speicher-Update alle aperiodischen und bestimmte periodische Aufgaben unter festgelegter Genauigkeit lösen kann; wo genau es in der Hierarchie steht, ist ungeklärt. Und StateBench geht von einer festen Zahl von Variablen aus, während echte Aufgaben laufend neue Entitäten einführen. Wer heute Coding-Agenten baut, sollte die 13 Prozent als das lesen, was sie sind: eine Messung der Zuweisungsreferenzen, auf denen lange Agentensitzungen beruhen.
