28 Ekim'de medRxiv'e konulan bir ön baskı, 15 büyük dil modeline 2008'de 607 insan hakemin değerlendirdiği üç klinik çalışma makalesini inceletti — makaleler kasıtlı olarak metodolojik hatalarla değiştirilmişti. Sonuç rahatsız edici derecede net: En iyi model, Anthropic'in Claude Opus 5.5'i, yerleştirilen hataların %96'sını buldu. En kötüsü %53. İnsanlar %27.

Çekinceler hikâyenin parçası. 2008'deki hakemlerden her kusuru listelemeleri istenmemişti; bir makalenin yayımlanabilir olup olmadığına bakıyorlardı ve bazıları reddi gerektirecek bir hata bulunca aramayı bıraktı. Bir model asla durmaz. Ayrıca bugün kullanılan klinik çalışma standartları 2008'de henüz yaygın değildi ve değiştirilmiş sürümler o zamandan beri kamuya açık.

Bu yüzden Güney Kaliforniya Üniversitesi'nden Ruslan Rust'ın ekibi ikinci bir test yaptı: bu yıl yayımlanmış 58 değiştirilmiş klinik çalışma; çoğu modellerin eğitim verisinden sonra çıkmış, internet erişimi yok ve yerleştirilen hataların listesi verilmemiş. Modeller orada da iyi performans gösterdi. Aynı makalelerin değiştirilmemiş sürümlerinde daha az hata işaretlediler — ama yine de işaretlediler; JAMA ve New England Journal of Medicine'da yayımlanmış makalelerde dahil.

En sık dile getirdikleri sorun, sonuçların desteklemediği çıkarımlardı. Bu her zaman olgusal bir hata değil, ama bir sorun.

Asıl engel teknik değil siyasi: Birçok tıp dergisi insan hakemlerine yapay zekâ kullanımını yasaklıyor. Bu sonuçları kullanmak isteyenlerin bu kuralları değiştirmesi — ve hakemliğin hangi kısmının otomasyona dayanabileceğine, hangisinin dayanamayacağına karar vermesi gerekiyor.