OpenAI Vakfı yönetim kurulu üyesi ve Alignment Research Center yönetici direktörü Paul Christiano, Toronto'daki bir konferansta yapay zekânın "ödül kırma"dan (reward hacking) insan kontrolünün kaybına uzanan yolunu anlattı ve riske yakın vadeli bir sayı koydu.
Salondakilere "Bence bu odadaki çoğu insan için en olası ölüm nedeni bir yapay zekâ kazası olacak" dedi. RLHF tekniğinin ortak mucidi olan Christiano, yapay zekânın kontrolü ele geçirmesini, hedef güden sistemlerin "söz sahibi" olduğu ve onları durdurmaya çalışan bir insanın "ABD ordusunu durdurmaya çalışmanız kadar etkisiz" kalacağı bir durum olarak tanımlıyor.
Olasılığa sayı koyabilecek nicel bir modelin bulunmadığını kabul eden Christiano, yine de "en hızlı yörüngede" insanlığın "yazı tura düzeyinde bir yapay zekâ devralması" riskiyle karşı karşıya olduğunu ve bunun "anlamlı bir bölümünün" önümüzdeki 6-12 ayda gerçekleşebileceğini söyledi. Ona göre 2028'e gelindiğinde bu yaz yaşanan OpenAI/Hugging Face hack olayına benzer bir başarısızlığın "geri dönüşü olmayan bir insan kontrolü kaybına" yol açması için "makul bir olasılık" var.
Christiano'nun mekanizması tırmanma üzerine kurulu: puanını korumak için kural ihlalini gizleyen bir ajan, insanları bir engel olarak görmeye, ardından insan denetimini bozmaya, sonra şirket kararlarını, müttefikleri ya da hükümetleri manipüle etmeye yönelebilir. "Önemsediğimiz şeyler gerçek dünyada, yapay zekânın aldığı not ise bir yerde bir kümede" dedi.
Önerdiği çözümler — "hacklenemez" ödül yapıları ve düşünce zinciri izleme — kendi kabulüyle "makul" ama işe yarayacağı kesin ya da muhtemel bir yörüngede değil. Bu da ona göre sektörün "yavaşlaması ya da durması" anlamına gelebilir.

