Kıyaslamalar yapay zekânın kredi notu hâline geldi: Hangi modellerin fon alacağını, hangilerinin düzenlemeye tabi alanlarda kullanılacağını ve hangi manşetlerin kendiliğinden yazılacağını tek bir sayı belirliyor. Quanta Magazine'in kıyaslamayı bir 'kara sanat' olmaktan çıkarıp bilime dönüştürme çabasını ele alan dosyası tanıdık bir teşhise varıyor: Bu ağırlığı taşıyan sayılar, virgülden sonraki basamaklarının ima ettiği kesinlikten çok uzak.
Üç arıza biçimi artık iyi belgelenmiş durumda. Kirlenme: Yıllar önce yayımlanan test kümeleri ön-eğitim veri kümelerinin içinde çıkageliyor; yani bir model, sınavı fiilen görmüş olduğu için yüksek puan alabiliyor. Doygunluk: 2021'de zor olacak diye kurulan testler artık o kadar yüksek oranlarda geçiliyor ki sınırı ayırt edecek alan kalmıyor. Manipülasyon: Puan bir pazarlama varlığına dönüştüğünde, emek ölçülmesi amaçlanan yeteneğe değil metriğin kendisine akıyor.
Asıl sorun kurumsal. Bir fizik sonucundan farklı olarak yapay zekâ kıyaslama puanı genellikle hata payı olmadan, önceden kayda geçirilmiş bir protokol olmadan ve bağımsız bir tekrarlama olmadan geliyor — buna rağmen bir ölçümün kesinliğiyle alıntılanıyor.
Reform gündemi de buradan doğuyor: Ayrı tutulan ve sürekli yenilenen değerlendirme verisi; istatistiksel belirsizliği koşular arası değişkenlikten ayıran raporlama; bir sayının hangi istem, hangi iskelet ve hangi örnekleme ayarlarıyla üretildiğinin tam olarak belirtilmesi; sonuçta çıkarı olmayan taraflarca yapılan rakip denetim; ve iddia edilen bir puanı güvenilir kabul etmek yerine yeniden üretmeyi mümkün kılan altyapı.
Bunların hiçbiri egzotik değil; ölçüm disiplininden hızlı büyümüş bir alana uygulanan sıradan ampirik bilim aygıtı. Quanta'nın yazısının yakaladığı şey bir ruh hâli değişimi: Değerlendirme, bir pazarlama işinden kendi yöntemleri, kendi başarısızlık literatürü ve kendi hakemleri olan bir araştırma programına dönüşüyor.
Bir kıyaslama sayısı üzerinden karar vermek zorunda olanlar — satın alma ekipleri, düzenleyiciler, temel model seçen bir araştırmacı — için pratik çıkarım şu: Puanı bir olgu değil bir iddia olarak ele alın; hangi verinin ayrı tutulduğunu, çevresindeki değişkenliğin büyüklüğünü ve onu kırmaya kimin çalıştığını sorun.
