Allen Yapay Zekâ Enstitüsü (Ai2), uzun belgelerde durum takibi için bir kıyas ölçütü olan StateBench'i yayımladı: Bir dil modeli, metindeki varlıkların durumu değişirken ne olduğunu ne kadar iyi akılda tutuyor? Kulağa dar bir alan gibi geliyor, ama değişkenlerin atanıp yeniden atandığı kodu okumakla bir karakterin nesneyi başkasına verdiği bir hikâyeyi izlemek arasındaki çok farklı işlerin zemini bu.
StateBench zorluğu, atama türlerine denk düşen dört kademeye ayırıyor. İlkinde değer hiç değişmez, doğum tarihi gibi. İkincisinde değerler yeniden atanır; son ayarın geçerli olduğu bir termostat gibi. Üçüncüsünde her güncelleme mevcut değerin üzerine kurulur, x = x + 5, yani akan bir skor gibi. Dördüncüsünde atama referansla yapılır, x = y; bir değişken diğerinin o anki değerini alır. Bu, beş bardak arasında art arda yapılan yer değiştirmeleri izlemeye karşılık gelen S₅ kabuk oyunu. Bu kademelendirme yalnızca öğretici değil; durum takibi problemlerini atomik parçalara ayıran Krohn-Rhodes teorisini izliyor. Adil karşılaştırma için StateBench dört varyantı da aynı alttaki diziden türetiyor: değişken sayısı, değerler ve atama konumları aynı, yalnızca atama türü değişiyor.
Önceden eğitilmiş açık modellerde, aralarında saf transformer olan Olmo 3 ve Gated DeltaNet katmanları eklenmiş Olmo Hybrid de var, tablo netti. Neredeyse hepsi ilk kademede iyiydi, girdi uzadıkça ikinci kademede doğruluk kaybetti ve dördüncü kademede şans düzeyinde kaldı. Biçim de fark ediyor: Küçük hibrit modeller RULER tarzında sorulan birinci kademe sorularında tavana yakın skor alırken, aynı problem elektronik tablo düzenlemesi olarak sunulduğunda şans düzeyine düştü.
Dört sınır modeli — Gemini 3.8 Flash, Claude Opus 5.5 ile GPT-6 Sol ve Luna — aynı deseni daha büyük ölçekte tekrarladı. Dördü de ilk iki kademede sağlamdı. Üçüncü ve dördüncü kademede doğruluk uzunlukla birlikte hızla düştü ve en uzun dördüncü kademe görevlerinde yüzde 13 veya altına indi. Ai2 olası etken olarak hassasiyeti gösteriyor: Bu kademelerde son yanıtı pek çok adım etkileyebiliyor, tek bir kaçırılmış güncelleme sonucu yanlış yapmaya yetiyor.
En aydınlatıcı bölüm sıfırdan eğitim deneyi. Ai2, 275 milyon parametreli modelleri doğrudan StateBench üzerinde, en fazla 256 atamalık dizilerle eğitti ve 64.000'e, yani eğitim uzunluğunun 250 katına kadar test etti. Gated DeltaNet ve hibrit modeller on binlerce atama boyunca neredeyse kusursuz genelleme yaptı. Transformer'lar kolay kademeleri öğrendi, uzun dizilerde bozuldu ve dördüncü kademeyi doğrudan eğitimle bile hiç öğrenemedi. Yani tekrarlayan ve hibrit mimarilerde açık eğitimde, transformer'larda mimaride.
Açık kalan çok şey var. Yeni bir kanıt, daha kısıtlı bellek güncellemesine sahip Gated DeltaNet'in sabit hassasiyetli aritmetikte tüm aperiyodik ve bazı periyodik görevleri çözebildiğini gösteriyor; hiyerarşideki tam yeri ise belirsiz. StateBench ayrıca sabit sayıda değişken varsayıyor, oysa gerçek görevler ilerledikçe yeni varlıklar ekliyor. Kodlama ajanı geliştirenler için yüzde 13, uzun ajan oturumlarının aslında neyden oluştuğunun ölçümü olarak okunmalı: bir değişkenin başka bir değişkene bağlanması, sonra yeniden bağlanması, binlerce adım derinde.
