Kodlama ajanları, dil modellerinin bugüne kadar yapılmış en ekonomik sonuç doğuran kullanımları arasında. Bu da onları sıralamak için kullanılan sayıları taşıyıcı hale getiriyor. Terminal-Bench bu sıralamanın referans noktalarından biri oldu. 2.0 sürümü, yazarlarının deyimiyle kapsamlı insan ve model destekli inceleme ile red-teaming süreçlerinden sonra yayımlandı — yani güvenilir olması beklenen sürüm buydu.

Yeni bir denetim, görevlerin yaklaşık yüzde 30'unda sorun buldu.

Söz konusu makale, E. Kelly Buchanan, Crystal Zhou, Scott W. Linderman ve Christopher Ré imzalı "Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks" (arXiv 2611.08417). Onarımlar Terminal-Bench 2.1 olarak yayımlandı.

Hata değil, borç

Yazarlar bu başarısızlık biçimine bir ad veriyor: kıyaslama bakım borcu — bir kıyaslamanın verdiği skor ile ölçtüğünü iddia ettiği yetenek arasında büyüyen uçurum.

Bunu iki mekanizma üretiyor ve yalnızca biri hata. Birincisi: modeller geliştikçe, mevcut doğrulayıcıların reddettiği geçerli çözümler buluyorlar. Görev sağlam, model sağlam, kontrol eden yanlış — ve model, testin öngördüğünden daha iyi olduğu için ceza alıyor. İkincisi: değerlendirme altyapısı görevlerin altından kayıyor. Bir süre sınırı, bir konteyner imajı, bir bağımlılık sürümü değişiyor ve bir testin içine gömülmüş varsayım artık geçerli olmuyor.

İkisi de geriye hata izi bırakmıyor. Bu şekilde çürüyen bir kıyaslama hâlâ çalışıyor, hâlâ sayı üretiyor ve hâlâ alıntılanıyor.

Onarım neyi değiştirdi

Yüzde 30'u düzeltmek kozmetik değildi. Onarılmış kıyaslamada ölçülen doğruluk on puandan fazla arttı — bu, birbirine yakın birçok model sürümü arasındaki farktan daha büyük bir kayma. Sıralamadaki yerler üç basamağa kadar oynadı.

Ancak genel dizilim korundu: eski ve yeni sıralamalar arasındaki korelasyon Spearman rho = 0,958. Rahatlatıcı okuma, merdivenin bütün olarak doğru olduğu. Rahatsız edici olanı ise tek tek basamakların doğru olmadığı — ve alıcının seçim yaptığı şey bir basamak.

Saat, cetvelin parçası

Makalenin ikinci bulgusu kıyaslamaların çok ötesine geçiyor. Kaynak tahsisi, test düzeneğinin nötr bir detayı değil; ölçüm şartnamesinin bir parçası.

Süre sınırını uzatmak, GPT 5.4 üzerindeki 20 puanlık düzenek farkını kapattı ve GPT 5.4 mini üzerindeki 30 puanlık farkı beş puana indirdi. Aynı model, aynı görevler, farklı duvar saati — ve model farkı gibi görünen açığın çoğu aslında bütçe farkıydı. Yayımlanan ajan değerlendirmelerinin çoğu, hızları çok farklı modellere tek bir tur bütçesi sabitleyip ortaya çıkan dağılımı yetenek olarak sunuyor.

Bakım bir iş akışı

Önerilen süreç gösterişsiz ve büyük ölçüde otomasyona son sözü vermemekle ilgili: topluluk bildirimleri, görev artefaktları, ajan izleri, otomatik oracle kontrolleri ve insan onaylı onarımlar. İnsan kapısı önemli. Kıyaslanan modeller tarafından otomatik onarılan bir kıyaslama, sonunda bir sayı bulunan kapalı bir döngüdür.

Zamanlamada daha geniş bir nokta var. Terminal-Bench o günden bu yana başka büyük sürümlerden geçti ve her biri aynı yükümlülüğü devralıyor: 2.1'i üreten onarımlar, hâlihazırda doğrulanmış bir kıyaslamada gerekti ve sonraki sürümlerde bunun geçerliliğini yitirmesi için hiçbir sebep yok.

Kodlama ajanı skoru alıntılayan herkes için — bir lansman yazısında, bir satın alma notunda, bir sıralama ekran görüntüsünde — pratik soru artık iki kelime daha uzun: hangi sürüm ve en son ne zaman doğrulandı? Bir kıyaslama bir yazılımdır. Yazılım hiç bitmez ve arkasında bakım kaydı olmayan bir sayı ölçüm değil, iddiadır.