Yapay zekâ yönetişimindeki en çekici fikirlerden biri, modellerin kendilerini değerlendirmesi gerektiği. Her dağıtım için pahalı bir dış test rejimi kurmak yerine, modeli içinde bir değerlendiriciyle birlikte gönderirsiniz: kendi çıktılarını puanlayan, tehlikeli istekleri işaretleyen ve gerçek zamanlı olarak yukarı raporlayan bir bileşen. Ucuzdur, denetçi sayısıyla değil dağıtım sayısıyla ölçeklenir ve bugün en iyi ihtimalle yılda bir kez yapılan denetimin yerine sürekli bir telemetri akışı üretir.
Hugging Face'in politika sorumlusu ikna olmuş değil. TechCrunch'a gömülü değerlendiricilerin denetim sorununa kolay bir çözüm olmayacağını söylüyor. Bu argümanı ciddiye almak gerekiyor, çünkü teknik değil yapısal bir kusuru işaret ediyor.
Temel itiraz şu: modelin içinde yaşayan bir değerlendirici, modelin hata biçimlerini paylaşır. Aynı veriyle, aynı laboratuvarda, aynı kör noktalarla eğitilmiş bir yargıç, kardeş modelinin sorun sınıfını sistematik olarak kaçırır. Değerlendiriciler aynı zamanda cazip hedeflerdir: çıkarım yolunda duran her şey, dağıtımı işleten kişi tarafından istemle yönlendirilebilir, ince ayarla etrafından dolaşılabilir ya da doğrudan kapatılabilir. Kendi ödevini notlayan bir modelin, ödülünün herhangi bir parçası nota bağlıysa, bariz bir teşvik eğrisi vardır.
İkinci itiraz hesap verebilirlik. Dış değerlendirme kusurludur ama bir artefakt üretir: yanıttan ticari çıkarı olmayan birinin hazırladığı bir rapor, bir kıyaslama sonucu, bir kırmızı takım bulgusu. İç değerlendirici ise bir log satırı üretir; geliştirici görür, düzenleyiciye en iyi ihtimalle özetlenir. Bir şey ters gittiğinde şirket dışından kimse güvenlik katmanının ne gördüğünü ya da neden sessiz kaldığını yeniden kurumaz. Kendi kendini raporlamaya dayanan yönetişim, zamanla bir uyum ritüeline dönüşür: değerlendiricinin çalıştığını kanıtlayan bir kutu, işe yaradığını değil.
Üçüncüsü, "gömülü" olmak kamusal bir kararı sessizce özel koda taşır. Hangi zarar kategorilerinin sayılacağı, hangi eşiğin engellemeyi tetikleyeceği, yanlış pozitiflerin yanlış negatiflere nasıl feda edileceği birer politika tercihidir. Bunları modelin ağırlıklarının içine koymak onları görünmez, sürümlenemez ve fiilen denetlenemez kılar.
Bunların hiçbiri gömülü değerlendirmeyi işe yaramaz kılmaz. Sürekli izleme için, hiçbir dış kıyaslamanın göremeyeceği dağıtım sonrası gerilemeleri yakalamak için ve bağımsız testin arkasında derinlemesine savunma için doğru araçtır. Hata, onu tamamlayıcı değil ikame olarak görmekte; özellikle de daha yavaş, daha pahalı ve daha çekişmeli dış değerlendirme işinin yerini almasına izin vermekte.
İşleyebilir bir rejim nasıl görünürdü? Muhtemelen hibrit: yüksek riskli dağıtımdan önce zorunlu bağımsız değerlendirme, sonrasında gömülü izleme ve iç değerlendiricinin çıktılarının talep üzerine düzenleyiciye açılmasını sağlayan bir bildirim yükümlülüğü. Ucuz sürüm, ancak bilmemenin maliyetini saymazsanız ucuzdur.
