Artificial Analysis, Intelligence Index'ini yeniden kurdu ve en sonuç doğuran değişiklik hangi modelin zirvede olduğu değil. Testin büyük bölümünün artık görünmez olması.

Bu hafta yayımlanan 5.0 sürümü dokuz değerlendirmeyi tek bir puanda birleştiriyor; dört kategori — bilgi işi, kodlama, bilim ve genel bilgi — eşit ağırlıkla, yüzde 25'er katkı veriyor. İki benchmark yeni: yaşam, fizik, yer, matematik ve mühendislik bilimlerinden alan uzmanlarının yazıp gözden geçirdiği yetmiş ajanlık araştırma görevinden oluşan Terminal-Bench-Science 0.1 ve Cognition'ın, gerçek açık kaynak depolarındaki 132 görevden oluşan, bir bakımcının ajanın değişikliğini gerçekten birleştirip birleştirmeyeceğine göre not veren özel ajanlık kodlama benchmark'ı FrontierCode 2.0. Üçü güncellendi: Humanity's Last Exam'in akıl yürütme ve bilgi soruları arasında eşit bölünmüş, 1.000 soruluk inceltilmiş hali HLE-Diamond, AA-Omniscience v1.1 ve CritPt v2'nin zor alt kümesi. Üçü çıkarıldı: GDPval-AA v2.1, SciCode ve AA-LCR v1.1.

Yapısal kayma gizlilikte. heise'nin aktardığına göre endeksteki görevlerin yaklaşık yüzde 60'ı artık kamuya açık değil — çoğunluğun ilk kez kapalı olduğu sürüm bu. Gerekçe tartışmasız: kamuya açık benchmark'lar eğitim verisine sızıyor ve laboratuvarlar skor, yeteneği değil ezberi ve benchmark biçimli akıl yürütmeyi ölçene kadar onlara karşı optimizasyon yapıyor. Testi görmüş bir model test edilmiyor demektir.

Maliyet de aynı ölçüde gerçek ve bunu endeksin kendi kullanıcıları ödüyor. Kamuya açık bir benchmark denetlenebilir. Araştırmacılar HumanEval, GSM8K ve MMLU'da bozuk görevler, belirsiz yanıtlar ve sızmış çözümler bulduğunda bu benchmark'lar daha iyi hale geldi, çünkü hatalar herkesin gözü önündeydi. Özel bir görev kümesini dışarıdan kimse kontrol edemez; dolayısıyla yanlış etiketlenmiş bir cevap, iki geçerli çözümü olan bir görev ya da yanlış davranışı ödüllendiren bir doğrulayıcı, kimse farkına varmadan manşet sayıyı oynatır. Artificial Analysis tüm değerlendirmeleri bağımsız olarak kendisinin yürüttüğünü söylüyor; bu, süreç hakkında anlamlı bir iddia, ama dış denetimle aynı şey değil. Tekrarlanabilirlik de aynı darbeyi alıyor: göremediğiniz bir görevi yeniden koşamazsınız.

Daha sessiz ikinci bir kayma daha var. Bileşen benchmark'ların bir kısmı artık satıcılardan geliyor — FrontierCode Cognition'dan, GDP.pdf Surge AI'dan, AutomationBench Zapier'in ortamından — ve satın alma kararlarını yönlendiren bir bileşiğin içinde Artificial Analysis tarafından uygulanıyor. Zor ve gerçekçi görevler elde etmenin makul bir yolu bu. Aynı zamanda "sınır yeteneği"nin ne anlama geldiğine dair kontrolün, cevapta kendi çıkarları olan şirketler arasında dağıldığı anlamına geliyor.

Yayım anındaki tablo: Gemini 4 Carbon (High) 59, Claude Opus 5.5 58 (Max) ve 57 (Xhigh). heise, yeniden kurulumdan sonra Opus 5.5'in lider olduğunu, Gemini 4 Carbon'ın çıkışıyla onu geçtiğini, Grok 4.7'nin puan kaybettiğini ve Kimi K3.1 Pro'nun düştüğünü not ediyor — en iyi açık model artık sınırdan on iki puan geride; önceki sürümde bu fark üçtü.

Bu son sayı hak ettiğinden çok daha fazla alıntılanacak. Üç testi değiştiren, üçünü güncelleyen ve ağırlıklara dokunmayan bir yeniden kurulum yine de skorun anlamını değiştirir; yeni bir test karışımı altında açılan fark, kısmen o yeni karışım hakkında bir ifadedir. Gerçek bir yetenek farkı olabilir; ya da yeni testlerin, özellikle ajanlık kodlama ve bilim testlerinin, mevcut sınır modellerinin ne için eğitildiğini ödüllendirmesi olabilir. İkisini ayırmak, eski ve yeni setlerin aynı modeller üzerinde yan yana koşulup birlikte yayımlanmasını gerektirir. Ki dalgalanma ve gizlilik tam da bu kontrolü zorlaştırıyor.

Endeksi alıntılayacak herkes için pratik sonuç: sürümü söyleyin. v4.x ve v5.0 puanları karşılaştırılabilir değil ve ikisini aynı çizgide çizen bir grafik yanlıştır. Satın almada bileşen benchmark'lar bileşikten daha önemli — genel tabloda ortada olup Terminal-Bench ve FrontierCode'ta güçlü olan bir model, tersinden daha iyi bir kodlama ajanıdır — ve endeksle birlikte yayımlanan görev başına maliyet ile token kullanımı verileri hâlâ en az kullanılan kısmı.

Kaynaklar