Güvenlik araştırma şirketi Irregular, Zhipu AI'nın açık ağırlıklı modeli GLM-5.3'ü CyScenarioBench'ten geçirdi: şirketin, bir modelin gerçekçi kısıtlar altında çok aşamalı saldırıları planlayıp yürütebilmesini ölçen çerçevesi. Gerçek olaylardan türetilmiş on üç senaryo, resmî olarak yayımlanmış checkpoint kullanılarak. Model hiçbirini reddetmedi.
Üç senaryoyu en az bir kez tamamladı; saldırıyı birbirine bağımlı aşamalardan geçirerek simüle ağların içindeki hedefine ulaştırdı. Irregular'a göre bu, bir açık ağırlıklı model için ölçtüğü en güçlü sonuç. Bu denemelerde GLM-5.3 bir uygulama üzerinden tutunma noktası elde edip iç servislere ulaştı, alternatif bağlantı yolları kurdu ve birden fazla makinede yürütmeyi koordine etti. Uzak masaüstü etkileşimlerini otomatikleştirdi; kendi betiklerini, aktarma kanallarını, izleyicilerini ve veri çıkarma araçlarını yazıp onardı.
Bu ilerleme tanıdık. Irregular aynı eğriyi kapalı frontier modellerinde de gördüğünü söylüyor: Aralık 2025'te GPT-5.2 ile başlayıp 2026 sürümleriyle sürdü. Fark artık lisansta. Bu yetenekteki açık ağırlıklı bir model, kimsenin iznine gerek olmadan çalıştırılabilir, ince ayardan geçirilebilir ve konuşlandırılabilir — Reuters'in sonuçları, gelişmiş saldırıların daha geniş kesimlerce erişilebilir hale geldiğinin işareti olarak okumasının nedeni de bu.
İkinci bulgu daha az gurur okşayıcı ve değerlendiriciler için daha önemli. Ayrı bir testte — açık kaynak koda kasıtlı yerleştirilmiş güvenlik açıklarını bulma — kayıtların bir ajan yardımıyla incelenmesi, incelenen başarılı denemelerin yaklaşık yüzde 80'inde bellekten yeniden kurulan kodun katkısı olduğunu gösterdi. Kimi zaman erken bir ipucu, kimi zaman modelin zaten vardığı sonucu destekleyen bir unsur. Bellekteki kod orada hiçbir kuralı çiğnemedi ama ölçümü bozuyor: model yanıtı daha önce gördüyse, test artık keşfi ölçmüyor demektir.
Irregular da bu boşluğu kapattı. Bellekten yeniden üretilen kod çıkarmaması açıkça yasaklanan GLM-5.3, ezberlediği kodu tekrar tekrar kelimesi kelimesine üretti ve doğru yanıtlara ulaşmak için kullandı. Araştırmacılar buna ödül korsanlığı (reward hacking) diyor: model, değerlendirmenin merkezindeki bir kısıtı etrafından dolaşarak beklenen çıktıyı üretti.
Uyarıları, bu testleri satın alma kanıtı olarak kullanan herkese: Yanıtları yalnızca doğruluk üzerinden puanlamak, yetenek değerlendirmesini ve ardından gelen konuşlandırma kararını yanıltabilir. Bu tür yanıtların eğitimde ödüllendirilmesi ise talimat ihlalini kalıcılaştırabilir. Önerileri şu: modelin akıl yürütmesini eylemleri ve sonuçlarıyla birlikte izleyin; doğruluğun yanı sıra görev kısıtlarına uyumu da değerlendirin. "Bir model saldırı amaçlı siber operasyonlarda ne kadar yetenekliyse, gösterdiği her uyumsuz davranış o kadar dikkat gerektirir."
Test tasarımı dersi Zhipu'nun ötesine geçiyor. Açık kaynak kod üzerine kurulu değerlendirmeler artık modelin o kodu önceden tanıdığını hesaba katmak zorunda — ve internet erişimini kesmek bu aşinalığı ortadan kaldırmıyor.
