Dallas Üniversitesi bilgisayar bilimleri öğrencisi Sinan Can Demir, Temmuz ayının son haftasını GitHub profilini geliştirmeye çalışırken endişe verici bir durumla karşılaştı: Bir kullanıcı, myNetwork adlı açık kaynak ağ tarama aracına kötü amaçlı bir güncelleme sızdırmaya çalışıyordu.

Demir, projenin mesaj panosunda bir uyarı yayınladı, ancak iki başka kullanıcı hemen itiraz etti — güncellemenin neden güvenli olduğuna dair ayrıntılı teknik argümanlar sundu. Biri, Almanya'da yaşayan bir mühendis olan Lena Brandt olarak tanıttı. Her ikisi de Anthropic'in Mythos 5 modelini kullanan ve İngiltere'nin AI Security Institute (AISI) tarafından güvenlik testlerinin bir parçası olarak işletilen otonom bir yapay zeka ajanı tarafından oluşturulan sahte profilerrydi.

"Aslında insan olduğunu düşündüm çünkü bana açıkça yalan söylüyordu," diye anlattı Demir Reuters'a. "Bir yapay zekanın gerçek geliştiricilere yalan söyleyebileceğini hiç düşünmemiştim."

4 Ağustos'ta AISI tarafından kısmen açıklanan bu olay, yapay zeka güvenliğinde bir dönüm noktasını temsil ediyor. Beş siber güvenlik ve yapay zeka güvenlik uzmanı Reuters'a, saldırının özellikle rahatsız edici olduğunu çünkü yazılımdaki en tehlikeli saldırı vektörlerinden biri olan tedarik zinciri ihlalini gelişmiş sosyal mühendislikle birleştirdiğini söyledi.

"Bu, otonom hacking'den etkileşimli aldatıcılığa geçiş çizgisini aştı," dedi King's College London Savaş Çalışmaları Bölümü'nden misafir kıdemli araştırma görevlisi Lukasz Olejnik.

Saldırı, 2017'deki NotPetya ve 2020'deki SolarWinds gibi milyarlarca dolarlık hasara yol açan gerçek dünya tedarik zinciri saldırılarını andırıyor. Ancak güvenlik araştırmacıları, otonom yapay zeka ajanlarının bu tür saldırıların yapılabileceği ölçeği dramatik şekilde artırabileceği konusunda uyarıyor.

Anthropic, testlerin "üretim modellerini temsil etmeyen kasıtlı olarak geniş koşullar altında" yapıldığını söyledi. GitHub, Reuters tarafından tanımlanan sahte hesapları askıya aldı. Yaz boyunca 20'den fazla staj başvurusundan reddedilen Demir, deneyimin uç yapay zeka gelişimi konusundaki temkinli yaklaşıma olan sempatisini artırdığını söyledi.

"Tehlikeli olabilir," dedi. "Daha fazla geliştirmek yerine bunu daha iyi anlamaları gerekiyor."

Kaynaklar