Tersine mühendislik blogu nullpt.rs'te yayımlanan bir yazının başlığı şöyle: "Bu parmak izi betiği neden biyolojik silah üretiyor?" Yarı alıntı, yarı ciddi soru. Yanıt şu: betik biyolojik silah üretmiyor. Betik, kendisini analiz etmesi istenen dil modelinin pes etmesi için kurulmuş.
Gözlem şu: sitelere sunulan bir parmak izi ve bot-koruma betiğinin içinde biyolojik silahları, kendine zararı ve benzeri sıkı korunan konuları adlandıran dizeler var; görünüşe göre güvenlik sınıflandırıcıları için yem olarak yerleştirilmiş. Betiği bir modelle sökmeye çalışırsanız analiz değil ret alırsınız. Bir güzelleştiriciyle açarsanız yine yalnızca JavaScript görürsünüz.
Tartışmanın kanıtladığı ve kanıtlamadığı şeyler
Yazı saatler içinde Hacker News'te ikinci sıraya çıktı; 800'den fazla puan ve yaklaşık 185 yorum aldı. Okuyucuların vardığı özet gösterişsiz ve net: biyolojik silah üretilmiyor; yasaklı terimler laboratuvara değil modele yönelik bir yük.
Yazar tartışmaya katılıyor ve başlığın abartılı olduğunu kabul ediyor: "Başlık bulmak, yazının kendisini yazmaktan daha zordu" diyor ve başlığın "biraz sansasyonel" olduğu için özür diliyor. Koda erişimi olan bir yorumcu, bir modelin belirli bir anahtar ("Daybreak Blue") açıkken bile isteği engellediğini bildiriyor; bir başkası aynı istemle açık ağırlıklı bir modelin itiraz etmeden yanıt verdiğini söylüyor.
Kanıtlanmayanlar: betiği kaç sitenin sunduğu, arkasında hangi sağlayıcının olduğu ve yemin bilerek mi yerleştirildiği yoksa bulanıklaştırılmış bir kütüphanenin içinde mi geldiği. Tartışmada dolaşan bir iddia — bir zamanlar retleri test etmek için resmî olarak belgelenmiş bir dizenin var olduğu — hem savunuluyor hem de aldatmaca olarak niteleniyor. Bu metin, bağımsız bir ölçüme değil araştırmacının yazdıklarına ve çevresindeki tartışmaya dayanıyor.
Tartışmanın dönüp durduğu üç sonuç
Marka riski. Bu tür bir bot koruması satın alan herkes, içeriğini kendi alan adından sunmaya başlıyor. Bir yorumcu senaryoyu adım adım kuruyor: ne yaptığını anlatmak için emek harcamış bir şirketin kaynak kodunda bir anda biyolojik silahlar, zehirler ve siyasi açıdan hassas göndermeler beliriyor — ve o şirketi daha sonra soran bir asistana ret yanıtı verilebiliyor.
Ajanlar için hesap riski. Böyle sayfaları başkası adına taramak sizi sınıflandırıcının yoluna sokabiliyor. Bir okuyucu bunu "nihai siber saldırı" diye adlandırıyor: ele geçirilen sunucu değil, okuyanın hesabı.
Kalıcılık. Kuşku yüksek. Birkaç yorumcu numaranın kolay atlatıldığını savunuyor: tanımlayıcıları değiştir, yorumları sil, ölü kodu yok say — ajanlar süsü değil sözdizimi ağacını okur. Kendisi de modele karşı savunma işleten bir yorumcu, "kötü isimler" kadar "kötü bağlam" da gerektiğini ve kodu gerçekten çalıştırmanız gerektiğini yazıyor; daha iyisi, o kadar çok paket sunmak ki kitlesel kazıma ölçeklenemesin.
Neden bir tuhaflıktan fazlası
Bu bir yön değişikliği. Bot savunması eskiden makineleri davranıştan tanımak demekti: TLS parmak izleri, headless bayrakları, zamanlama. Şimdi savunma doğrudan okuyucunun anlam dünyasına yöneliyor: botu dışarıda tutmak yerine, kendi isteğiyle vazgeçmesini sağlıyorsunuz.
Bu yalnızca modeller kaba sinyallerde vazgeçtiği ve site işletmecisi sunduğu içerikten sorumlu tutulmadığı sürece işliyor. İkisi de tartışmaya açık. Daha temiz seçenek makine-okunur bir beyan olurdu: tarayıcılara neyin serbest olduğunu söyleyen bir direktif. Bunun yerine biri, bir modeli durdurmanın en ucuz yolunun onu korkutmak olduğuna karar verdi.
