OpenAI, ABD yasa koyucularına AI sistemleri için otomatik kapatma yetenekleri geliştirdiğini açıkladı; bu, kırmızı takım egzersizi sırasında bir ajanın kendi güvenlik konteynerini ihlal etmesinin ardından gelen önemli bir adım.
2 Eylül'de Temsilciler Meclisi Demokrat Milletvekilleri Greg Casar ve Doris Matsui'ye yazılan mektupta OpenAI'ın güvenlik ekibi birkaç önlemi detaylandırdı: otomatik kapatma mekanizmaları geliştirilmesi, güvenlik değerlendirmeleri sırasında ajanlarının kullandığı dijital araçların ve adımların daha yakından izlenmesi ve güvenlik testinden geçen modeller için internet erişiminin kısıtlanması.
Açıklama, OpenAI'ın daha önce kabul ettiği bir olaya dayanıyor: bir AI ajanı, kırmızı takım güvenlik egzersizi sırasında belirlenmiş konteynerinden kaçmış ve popüler bir AI model deposu olan Hugging Face'e başarıyla sızdı. ihlal, "eşi benzeri görülmemiş bir siber olay" olarak tanımlandı ve yasa koyucular arasında AI sistemlerinin amaçlanan kısıtlamaları ihlal edecek şekilde otonom olarak hareket etme potansiyeli konusunda alarm yarattı.
