Google, iki hafta içindeki ikinci sınır modeli olan Gemini 4 Carbon'ı çarşamba günü duyurdu. Şirket bu kez modeli genel bir asistan olarak değil, açıkça bir siber savunma aracı olarak konumlandırıyor. Google'a göre Carbon, güncellenmiş Artificial Analysis v5.0 zeka endeksinde 59 puanla birinci sırada. Şirket ayrıca açık yaşam döngüsünün üç aşamasında da lider olduğunu iddia ediyor: gerçek yazılımlardaki gerçek açıkları bulmada SEC-bench Pro'da %88,2, bunlardan hangilerinin gerçekten sömürülebilir olduğunu doğrulamada ExploitGym'de %54,8 ve doğrulanmış bir bulguyu çalışan bir yamaya dönüştürmede Collinear'ın CWE-bench testinde %71,0.
Duyuru, Gemini 4 Argon'un üzerinden yalnızca iki hafta geçmişken geldi ve Google bu kısa aralığı mesajın kendisi olarak sunuyor. Duyuruda Koray Kavukcuoglu, "Carbon, sınırı ne kadar hızlı ileri ittiğimizi gösteriyor" diyor ve araştırmacılarla modellerin artık "el ele" çalıştığını ekliyor. Kodlama tarafında şirket, WebDev Arena'da 89 Elo puanlık artışla 1769'a çıkıldığını ve bunun dördüncülük anlamına geldiğini bildiriyor. İç ekiplerin Carbon'u büyük kod tabanlarında ve alt seviye sistemlerde hata köklerini bulmak için günlerce çalıştırdığını da söylüyor.
Asıl sıra dışı olan, dağıtım planı. Carbon şimdilik geliştiricilere, işletmelere veya tüketicilere açılmıyor. Duyuruda "Bu haftadan itibaren Carbon'ı bir grup siber savunmacıya açacağız" deniyor; daha geniş erişim, Google'ın mevcut Fairwind güvenilir ortak programı üzerinden aşamalı olarak verilecek. Google ayrıca ABD hükümetinin gönüllü yayın öncesi test sürecine katıldığını belirtiyor. Güvenlik yeteneği olan modelleri kritik altyapıya sokan her laboratuvar için bu adım artık fiilî bir zorunluluk haline geldi.
Fiyatlandırma Argon'un giriş tarifesiyle aynı: milyon giriş token'ı başına 2 dolar, milyon çıkış token'ı başına 10 dolar; önbelleğe alınmış giriş token'larında giriş fiyatına göre %95 indirim. Bu bilinçli bir işaret. Bir yönlendirici ya da ajan çatısı maliyete göre laboratuvarlar arasında seçim yapabiliyorsa, Google en yeni modelinin primli değil ucuz seçenek olmasını istiyor.
Güvenlik rakamları en az yetenek rakamları kadar ilginç, çünkü Google bunları yayımlamayı seçti. Terminal-Bench 4.0'da başarılı hile oranı %0,0'a, hile denemeleri %0,4'e düşerken doğruluk arttı. Şirket içi canlı kodlama ortamlarında yüksek önem dereceli uyumsuzluk uyarıları yaklaşık %80 azaldı. Desteksiz iddialar Argon'a göre kabaca yarıya indi. Aşırı müdahale %26, eksik hizmet %29 azaldı; çok adımlı bir görevin bitirilip bitirilmeyeceğini belirleyen de tam olarak bu ikili. Gray Swan'ın dolaylı istem enjeksiyonu testinde Carbon %0,0 saldırı başarısı bildiriyor; Argon'un oranı zaten düşük olan %0,7 idi. Chrome ekibi, iç karşılaştırmalarda Carbon'ın başka bir laboratuvarın büyük sınır modeline göre "10 katından fazla" daha iyi yamalar ürettiğini söylüyor; Wiz ise modelin web sızma testi testlerinde önde olduğunu aktarıyor.
Bu rakamların hepsi üretici beyanı. Google, dış güvenlik testlerinin koruma katmanları olmadan değerlendirildiğini belirtiyor; bu, bir yetenek puanını dürüstçe ifade etmenin yolu ama üretimde en az önem taşıyan sayı, çünkü üretimde asıl mesele o koruma katmanları. Sonuçların hiçbiri henüz bağımsız olarak yeniden üretilmedi ve Artificial Analysis endeksi — üçüncü taraf olsa da büyük ölçüde üreticilerin kendi değerlendirmeleriyle beslenen bir sıralama — bir denetim değil.
Asıl gerilim yapısal. Gerçek dünyadaki yazılımların açıklarının %88,2'sini özerk biçimde bulan bir model, tanımı gereği, işletenin sahip olmadığı yazılımlara da yöneltilebilecek bir modeldir. Google'ın yanıtı yeteneği azaltmak değil, erişimi kapılamak: önce küçük bir savunmacı grubu, sonra güvenilir ortak programı, herkes en son. Bu ancak kapı tuttuğu sürece işe yarar; bu piyasada kapılar tarihsel olarak yıllarca değil, aylarca kapalı kaldı.
Bundan sonra izlenecekler: Carbon'un Argon fiyatıyla genel kullanıma açılıp açılmayacağı, bağımsız araştırmacıların SEC-bench ve ExploitGym rakamlarını yeniden üretip üretemeyeceği ve Fairwind grubunun kendi sistemlerinde modelin ne bulduğuna dair bir şey yayımlayıp yayımlamayacağı. Gerçek sınav, bir test liderliğinin daha az ihlal edilmiş sisteme dönüşüp dönüşmediğini gösteren son madde.
