Bir yapay zekâ ajanı işi bir diğerine, o da bir üçüncüsüne devrettiğinde talimatlar bozulmadan kalmıyor. Kulağa fısıldanan bir cümlenin satır boyunca değişmesi gibi kayıyorlar. heise+ analizi, bu "kulaktan kulağa" etkisinin bir merak konusu değil, üretimde kullanılan ajan tabanlı sistemlerde yapısal bir risk olduğunu savunuyor.
Tek bir model çağrısında bir insan istemi okuyup yanıtı görebilir. Ajan zincirinde ise her aktarım özetliyor, yeniden yorumluyor ve yeniden önceliklendiriyor. Küçük yanlış anlamalar birbirini götürmek yerine birikiyor: ikinci adımda düşen bir kısıt beşinci adımda yok oluyor, bir talimata eklenmiş bir uyarı sessizce kayboluyor ve dar bir görev yeniden ifade edilirken genişleyebiliyor. Sonunda özgün niyet — ve bir kararın kaynağı — nihai çıktıdan artık geri izlenemeyebiliyor.
Sonuçlar can sıkıcı olmaktan ciddiye uzanıyor. Bir rapor hedeften sapabilir ve kimse nerede saptığını söyleyemez. Daha da rahatsız edici olan, bir web sayfasını okuması söylenen ajanın o sayfaya gömülü talimatlara göre hareket edebilmesi — dolaylı istem enjeksiyonunun bir biçimi — ve zehirlenmiş talimatı, saldırıya uğrayandan daha geniş yetkilere sahip ajanlara aktarması.
Analiz, egzotik değil, dağıtık sistemlerin onlarca yıllık pratiğini yansıtan önlemler öneriyor: talimatları ajanlar arasında serbest metin özetler yerine yapılandırılmış biçimde tutmak, aktarımda özete güvenmek yerine her adımda doğrulamak, her ajanın yetkisini ihtiyaç duyduğu asgari düzeye indirmek ve her devri kaydederek nihai bir eylemin onu yetkilendiren niyete kadar izlenebilmesini sağlamak.
Rahatsız edici kısım, arızanın sessiz olması. Hiçbir şey çökmüyor, hiçbir istisna fırlatılmıyor; zincir, istenen şey olmayan ama akla yatkın bir sonuç üretiyor. Bir ajanın özetini mutlak doğru kabul eden sistemler tam da bu sessizliği devralıyor.
