Das Tel-Aviv-Start-up QED Science hat mit einem KI-System mehr als 57.000 bioRxiv-Preprints bewertet und ein 'Top-1 %'-Ranking erstellt — eine Liste, die laut Unternehmen allein nach wissenschaftlicher Qualität ausgewählt wurde. Die Übung, beschrieben in einem am 10. August von Nature veröffentlichten Interview, hat die Debatte neu entfacht, ob Maschinen Wissenschaft bewerten sollten, bevor Menschen sie je begutachten.
QEDs Tool liest Manuskripte vor der Veröffentlichung und bewertet Originalität und Validität ihrer Behauptungen. Trainiert wird es unter anderem auf negativen Ergebnissen, gescheiterten Replikationsstudien und anderen Befunden, die Hypothesen nicht stützen — die Gegenbelege, die die veröffentlichte Literatur selten zeigt. Das Unternehmen sagt, seine Metriken ignorieren bewusst Autorenidentität, Institution und Publikationsort, genau um der Prestige-Verzerrung des bestehenden Systems entgegenzuwirken.
In der Juni-Analyse wählte QED 574 von 57.455 bioRxiv-Preprints als Top-1 % aus. Eine Validierungsstudie mit 2.879 Preprints, die später in Fachzeitschriften erschienen, ergab, dass QED 12,9 % von ihnen höher bewertete als ihre späteren Zeitschriften — 'versteckte Juwelen', die das Publikationssystem laut Unternehmen übersehen hat. In einem verblindeten Panel-Test bevorzugten Experten in 75 % der entscheidenden Vergleiche das von QED bevorzugte Papier.
Kritiker befürchten, das Tool schaffe ein neues Prestige-Abzeichen und verstärke die metrikgetriebene Wissenschaft; zudem bezweifeln sie, dass KI wissenschaftliche Qualität transparent beurteilen kann. QEDs Tool ist für Forscher kostenlos und wurde von mehr als 10.000 Laboren an 1.500 Institutionen in über 70 Ländern genutzt; die Non-Profit-Organisation openRxiv pilotiert es seit November auf bioRxiv. Das Unternehmen plant nicht, das System an Verlage zu verkaufen.
