Ein Preprint auf medRxiv, veröffentlicht am 28. Oktober, hat 15 Large Language Models dieselben drei klinischen Studien prüfen lassen, die 2008 schon 607 menschliche Gutachter bewertet hatten — präpariert mit absichtlich eingebauten methodischen Fehlern. Das Ergebnis ist unangenehm eindeutig: Das beste Modell, Anthropics Claude Opus 5.5, fand 96 % der eingebauten Fehler. Das schlechteste fand 53 %. Die Menschen fanden 27 %.
Einschränkungen gehören zur Fairness dazu. Die Gutachter von 2008 sollten nicht jeden Fehler auflisten, sondern beurteilen, ob ein Manuskript publizierbar ist — manche hörten auf, sobald ein Fehler die Ablehnung rechtfertigte. Ein Modell hört nie auf. Außerdem waren die heute gültigen Standards für klinische Studien damals noch nicht durchgesetzt, und die manipulierten Fassungen sind seit 2008 öffentlich.
Deshalb testete das Team um Ruslan Rust von der University of Southern California nach: 58 weitere präparierte klinische Studien aus diesem Jahr, die meisten nach dem Trainingsstand der Modelle veröffentlicht, ohne Internetzugang und ohne Liste der eingebauten Fehler. Auch dort schnitten die Modelle gut ab. Bei den unmanipulierten Fassungen derselben Manuskripte fanden sie weniger Fehler — aber immer noch welche, darunter in Beiträgen aus JAMA und dem New England Journal of Medicine.
Am häufigsten beanstandeten die Modelle Schlussfolgerungen, die von den Ergebnissen nicht gedeckt sind. Das ist nicht immer ein faktischer Fehler, aber ein Problem.
Der praktische Haken ist weniger technisch als politisch: Viele medizinische Journals verbieten ihren Gutachtern den Einsatz von KI. Wer die Ergebnisse nutzen will, muss diese Regeln ändern — und dabei entscheiden, welche Teile der Begutachtung Automatisierung verträgt und welche nicht.



