Heise, Google'ın yapay zeka ajanlarını prompt injection'a karşı nasıl koruduğunu anlatan bir röportaj yayımladı.
Prompt injection, ajanın okuduğu içeriğe gizlenmiş komutlar yerleştirmek anlamına geliyor ve modelin veriyi komuttan güvenilir biçimde ayırt edememesi nedeniyle ajan güvenlik yığınındaki en zor sorun olarak kabul ediliyor. Mails okuyan, dosya tarayan veya araç çağıran bir ajan, enjekte edilen bir satırı gerçek görev kadar kolay yürütür.
Röportajın dikkat çekici yanı, Google'ın gerçekten sevk ettiği ajanlar için savunmalar anlatması: araştırmacı bir dilek listesi değil. Vurgu tek filtre değil, katmanlar üzerinde: güvenilir talimatlar ile güvenilmeyen içeriğin ayrılması, ajanın araç erişiminin en aza indirilmesi, dış dünyaya etki eden çıktıların önceden denetlenmesi ve kritik adımların insana bırakılması.
Bağlam şu: ajan güvenliği teoriden satın alma kararına dönüştü. E-posta okuyan, veritabanı sorgulayan veya harcama yapan ajanları devreyeiren kurumlar, sözleşmeden önce injection'a dair yanıt istiyor; bugün tam teknik bir çözüm yok, açık soru enjekte edilmiş bir talimatın azami hasarı. Google'ın kendi sınırlarını ortaya koyan anlatımı, ajan sistemleri kuran, çalıştıran veya satın alanlar için değerli bir girdi.
