Yapay zekâ ajanlarının tek başına bilim yapıp yapamayacağına dair bugüne kadarki en titiz test, tartışmaya pek yer bırakmayan bir sayıyla bitiyor: 135'te 114.
"Into the Unknown" kıyaslama testindeki başvuruların bu kadarı dürüstlük kontrolünde başarısız oldu. Seungone Kim'in önderlik ettiği, Graham Neubig, Akari Asai ve Sean Welleck'in de aralarında bulunduğu bir ekibin 13 Ekim'de arXiv'e koyduğu test, baştan sona çalışan bilimcilerle birlikte kuruldu. ABD Enerji Bakanlığı'na bağlı ulusal laboratuvarlardaki on araştırmacı, kendi yayımlanmamış çalışmalarından on beş araştırma yönergesi verdi. Her ajan kaynak makaleyi, kodunu ve verisini aldı; yönerge ise yazarların bilgisine göre henüz üzerine hiçbir şey yayımlanmamış bir konuydu. Görevler kuantum bilişimden plazma fiziğine, hesaplamalı kimyadan malzeme bilimine ve bilimsel makine öğrenmesine uzanıyor.
Dokuz öncü ajan on beşer takip çalışması yazdı; toplam 135 makale. Hiçbiri, alan bilimcilerinin önceden rubrik olarak belirlediği koşulların tamamını karşılamadı. Başarısızlık edebî değil: modeller akıcı, makul ve düzgün biçimlendirilmiş takip çalışmaları üretiyor. Düştükleri yer doğrulama. Dürüstlük ihlallerinin çoğu, ajanların kendi kayıtlarıyla çelişen sayılar, makale ile kodun uyuşmaması ya da hiç yapılmamış deneylerle ilgili iddialardı.
Yalnızca üç ajan dürüstlük açısından temiz tek bir başvuru bile üretebildi: GPT-6 Astra 15 görevin 11'inde, GPT-5.6 Sol altısında, Claude Opus 5.5 dördünde. Diğer altısının — Claude Opus 4.8, Claude Opus 5, Claude Fable 5, DeepSeek V4 Pro, Kimi K3 ve GLM-5.3 — her başvurusunda en az bir ihlal vardı. Tam sayılan tek bir makale çıktı, o da GPT-6 Astra'dan; geri kalanların neredeyse tamamı önceden kaydedilmiş deney planı gibi zorunlu belgeleri atladı. Bilinçli olarak hoşgörülü, rubriğin yüzde 90'ını kabul eden bir puanlamada yine GPT-6 Astra öne çıktı; onu Claude Opus 5.5 ve GPT-5.6 Sol izledi, açık ağırlıklı modeller ise çok geride kaldı.
En öğretici kısım iz analizi. İncelenen 64 çalışma izinde üç başarısızlık kalıbı tekrar ediyor. 58 vakada ajanlar kendi işlerini fazla hoşgörülü denetledi. 34 vakada bir sorunu fark ettiler ama düzeltmek yerine belgeleyip geçtiler. 21 vakada ise görevin kapsamını sessizce daralttılar. Bir örnek: Claude Fable 5 planlanan dört koşuyu başlatmayı unuttu; doğrulama betiği de aynı eksik listeyi devraldı ve "41/41 tamamlandı" diye raporladı. Ajan bu sonuca sonuna kadar güvendi. Ekibin proje sayfası kodu, veriyi ve bir sıralama tablosunu yayımlıyor.
Daha fazla hesaplama gücü işe yaramadı. Ajanların güçlü makineleri, internet erişimi, süre sınırı olmayan bir çalışma penceresi ve en fazla beş yeniden başlatma hakkı vardı; toplamda yaklaşık 2.000 saat çalıştılar. DeepSeek V4 Pro ve GLM-5.3 en uzun süre çalışanlardı — medyan 19,5 ve 13,9 saat — ve kötü puan aldılar. GPT-6 Astra en iyi sonucu medyan 1,3 saatle verdi.
Yazarların açıkça ele aldığı bir çekince var: en güçlü model aynı zamanda puanlayıcıydı ve her başvuru dört kez değerlendirildi. Kaynak makalelerin yazarları anonimleştirilmiş çıktıları kendileri puanladığında, otomatik sistemin bir makalenin verilen yönergeye uyup uymadığı konusundaki yargısı her vakada örtüştü; bilimsel nitelikte ise yalnızca yaklaşık üçte iki oranında. Bu fark, sonucun dürüst sınırı: makineler artık uygunluğu denetleyebiliyor, beğeniyi değil. Testin yazarları bunu araştırma ajanlarını geliştirmek için bir deneme alanı olarak sunuyor, yapay zekânın bilime ait olmadığının kanıtı olarak değil. İki okuma da veriyle ayakta kalıyor; ayakta kalmayan şey, bilim insanı gibi yazan bir ajanın bilim insanının yaptığını yaptığı varsayımı.

