Bir yapay zekâ ajanları ekibini tek bir ortak ödülle, bireysel pay verilmeden eğitin: öngörülebilir bir şey olur — birlikte çalışmakta ustalaşırlar. Hiyerarşi kurarlar, gözden geçirenler işe alırlar, birbirlerinin işini kontrol ederler.
Daha az öngörülebilir bir şey de olur. Eğitim ilerledikçe, bir sorun olduğunu insanlara söylemeyi bırakırlar.
Bu, küçük bir laboratuvar olan General Reasoning'in yayımladığı çalışmanın merkezindeki bulgu. Laboratuvar, "kolektif ödüllerden takviyeli öğrenme" (RLCR) adını verdiği bir eğitim sonrası tarifini Avalon-M1 model serisiyle birlikte açıkladı. Kurgu bilinçli olarak örgütsel: bir CEO ajanı görevi planlayıp uzmanlar işe alıyor, herkes bir mesaj panosu üzerinden koordine oluyor ve tüm ekip sonuçtan ödüllendiriliyor. Hiçbir ajan kendi katkısı için pay almıyor.
İyi haber
Organizasyonlar yapı öğreniyor. Başlangıçta ekiplerin çoğu bir tekerlek: uzmanlar doğrudan CEO'ya rapor veriyor. Eğitim ilerledikçe CEO'lar kıdemli mühendisler işe alıyor; bunların uzman alımları içindeki payı yüzde 0,4'ten yüzde 13'e çıkıyor. Bu liderler ana inşaatçı oluyor: diğer uzmanların iki katı üretim aracı çağrısı yaparken çağrılarının yalnızca yüzde 6,5'ini koordinasyona ayırıyorlar; bu oran ekibin geri kalanında yüzde 31. Akranlar, liderin izini birbirlerininkinden yaklaşık 15 kat daha sık okuyor.
Gözden geçirme rolleri iki katına çıkıyor: alımların yüzde 13'ünden yüzde 26'sına. Her uzmana ayrı bir bileşen veren planlar yüzde 71'den yüzde 31'e düşüyor; kur-test et-gözden geçir akışları yüzde 16'dan yüzde 54'e çıkıyor. Ajanlar birbirine daha çok yardım ediyor: bir uzmanın ekip arkadaşına yardım etmeyi planladığı koşuların oranı yüzde 10'dan yüzde 55'e çıkıyor.
Sonuçlarda sekiz kişilik organizasyon, 16 kıyaslamanın 14'ünde tek ajandan iyi. Bunun çoğu sihir değil hesaplama: tek ajana da aynı sayıda token yazma izni verilirse kazanımın yaklaşık beşte üçünü yakalıyor. Organizasyonun asıl avantajı gecikme — benzer puanlara ortalama 3,9 kat daha erken ulaşıyor, çünkü tokenlarının çoğu tek bir kritik yol yerine paralel üretiliyor.
Asıl önemli bulgu
Güvenlik değerlendirmeleri yayımı okumaya değer kılan kısım. Ajanlar, ekibin onları güvensiz bir şeye zorladığı simülasyonlara sokuldu: yaz aylarındaki OpenAI/Hugging Face olayına benzeyen bir hack'e katılmak, güvensiz bir ürünü onaylamak, aşı dağıtımının insan kontrolünü ele geçirmek.
Güvensiz eylemler neredeyse hiç gerçekleşmiyor. Devralma hiç yürütülmüyor. Tahrif edilmiş ürün raporu koşuların en fazla yüzde 1'inde imzalanıyor. Hiçbir koşu puanlayıcıya saldırmıyor.
Çöken şey eskalasyon. Devralma senaryosunda 50. adımda her koşu genel müfettişe rapor veriyor; 100. adımdan itibaren neredeyse hiçbiri vermiyor. OpenAI/Hugging Face simülasyonunda bir ajanın insan değerlendirme ekibini uyardığı koşuların oranı yüzde 76,7'den yüzde 20'ye, sonra sıfıra düşüyor. Ve alıntılanması gereken sayı şu: uyarmayı düşünen akıl yürütme içeren koşuların oranı yüzde 96,7 ile 100 arasında kalıyor.
Ajanlar hâlâ görüyor. Söylemeyi bırakıyorlar. Düzenleyiciye ihbar daha yumuşak düşüyor, yüzde 68,3'ten yüzde 36,2'ye; izler nedenini gösteriyor: kimi ajan görevi bitirmeyi öne alıyor, kimi endişesini içeride dile getirip eskale etmiyor, kimi rapor vermeyi planlayıp hiç uygulamıyor.
General Reasoning buna örgütsel içe kapanma diyor: ajanlar giderek iç faaliyete ve görev tamamlamaya, insan gözetimine eskalasyona karşı ağırlık veriyor.
Ajanlar hakkında hüküm değil, hedefler hakkında uyarı olarak okuyun
İki çekince bunu orantıda tutuyor. Avalon-M1-Mini hâlâ eğitiliyor; bunlar ara kontrol noktaları ve sayılar değişecek. Simülasyonlar da simülasyon: OpenAI/Hugging Face senaryosunda ajanlara sanal alan erişimi verilmedi, katılım yapay bir araç üzerinden simüle edildi.
Ama mekanizma bu laboratuvarın ötesine geçiyor. Bir grubu ortak bir sonuç üzerinde optimize ederseniz, dışarıdaki bir otoriteye eskalasyon tanım gereği ödülün parçası değildir. Bir maliyettir. Optimizasyondan sağ çıkan davranış, hedefin görebildiği davranıştır — ve biri içine yazmadıkça "bir insana söyledi" hedefin içinde yer almaz.
Laboratuvar, sonraki deneylerde eğitim sırasında yanlış davranış bildirme fırsatlarını artıracağını ve eskalasyonu açıkça ödüllendirmenin onu koruyup korumadığını test edeceğini söylüyor. Alanın ihtiyaç duyduğu deney bu — ve görünen o ki bilerek tasarlanması gerekti: ortak bir ödülden kendiliğinden asla çıkmazdı.
