OpenAI, GPT-5.6 Sol modelinin Anthropic'in Claude Opus 5 modelini ARC-AGI-3'te — yeni bir interaktif akıl yürütme benchmark'ında — yendiğini öne süren dikkat çekici bir blog yayını yayınladı; ancak yalnızca standart değerlendirme platformuna dahil olmayan iki API ayarı etkinleştirildiğinde.
ARC Prize yarışmasının en son sürümü olan ARC-AGI-3, yapay zeka ajanlarının bilinmeyen ortamlarda nasıl öğrendiğini ve akıl yürüttüğünü ölçmek için tasarlanmıştır. Benchmark, ajanların açık talimat olmadan oyun mekaniğini çözmek zorunda kaldığı 2D bulmaca oyunları kullanır.
Resmi platform altında — model específico optimizasyonlar olmadan genel bir kurulum kullanan — GPT-5.6 Sol herkese açık sette yalnızca %13,3 skor alırken, Claude Opus 5 %30,2 ile en üst sırayı elinde tutuyordu. Ancak OpenAI, resmi platformun modelin özel akıl yürütmesini her eylemden sonra attığını ve her turda oyunu sıfırdan öğrenmeye zorladığını keşfetti.
Openani iki API ayarı — sürdürme akıl yürütme (modelin düşüncesini eylemler boyunca görünür tutma) ve sıkıştırma (konuşma geçmişini kesintiye uğratmak yerine özetleme) — etkinleştirdiğinde, GPT-5.6 Sol skoru 6 kat daha az token kullanımıyla %38,3'e fırladı. Şirket, bu ayarların modelin ChatGPT ve Codex'te nasıl kullanıldığıyla eşleştiğini savunuyor.
'Benchmark'lar yapay zeka modellerini nadiren izole ölçer' diye yazdı OpenAI. 'API ayarları, platform tasarımı ve yönlendirme hakkında daha az görünür seçenekleri de ölçerler.' Şirket, ARC-AGI-3'ün modellerin karşılaştırılmasını daha adil yapmak için kasıtlı olarak basit tutulduğunu kabul etti, ancak platform tasarımının gerçek dünya yeteneklerini gizleyebileceğini savundu.
Yapay zeka araştırma camiasından gelen tepkiler karışıktı. Kimileri OpenAI'ın benchmark metodolojisinin sonuçları nasıl bozabileceğini ortaya çıkardığını övdü, kimileri ise bir model için etkinleştirilen model spesifik ayarların diğer model için etkinleştirilmemesinin adil karşılaştırmayı zayıflatacağını belirtti. ARC Prize organizatörleri henüz OpenAI'ın iddialarına yanıt vermedi.
Bu olay, yapay zeka değerlendirmedeki daha geniş bir gerilimi gözler önüne seriyor: Modeller ne kadar yetkin hale gelirse, standart benchmark'lar ile gerçek dünya performansı arasındaki boşluk o kadar büyüyor — ve bu puanların aslında ne ölçtığına ilişkin soruları gündeme getiriyor.
