Artificial Analysis hat seinen Intelligence Index neu aufgebaut, und die folgenreichste Änderung ist nicht, welches Modell oben steht. Es ist, dass der größte Teil des Tests jetzt unsichtbar ist.

Version 5.0, diese Woche veröffentlicht, fasst neun Evaluierungen zu einem Score zusammen, gewichtet über vier gleich große Kategorien: Wissensarbeit, Coding, Wissenschaft und Allgemeinwissen. Zwei Benchmarks sind neu — Terminal-Bench-Science 0.1 mit siebzig agentischen Forschungsaufgaben, geschrieben und geprüft von Fachleuten aus Lebens-, Physik-, Erd-, Mathematik- und Ingenieurwissenschaften, und FrontierCode 2.0, Cognitions privater agentischer Coding-Benchmark mit 132 Aufgaben in echten Open-Source-Repositories, bewertet danach, ob ein Maintainer die Änderung des Agenten tatsächlich mergen würde. Drei wurden aktualisiert: HLE-Diamond, eine verfeinerte 1.000-Fragen-Version von Humanity's Last Exam, hälftig aus Reasoning- und Wissensfragen; AA-Omniscience v1.1; und die harte Teilmenge von CritPt v2. Drei fielen heraus: GDPval-AA v2.1, SciCode und AA-LCR v1.1.

Der strukturelle Wandel ist die Geheimhaltung. Wie heise berichtet, sind rund 60 Prozent der Aufgaben im Index nicht mehr öffentlich — erstmals ist die Mehrheit geschlossen. Das Motiv ist unstrittig: Öffentliche Benchmarks sickern in Trainingsdaten, und Labore optimieren gegen sie, bis der Score Erinnerung und benchmarkförmiges Schließen misst statt Fähigkeit. Ein Modell, das den Test gesehen hat, wird nicht getestet.

Der Preis ist ebenso real, und ihn zahlen die Nutzer des Index. Ein öffentlicher Benchmark lässt sich prüfen. Als Forscher in HumanEval, GSM8K und MMLU kaputte Aufgaben, mehrdeutige Antworten und durchgesickerte Lösungen fanden, wurden diese Benchmarks besser, weil die Fehler für alle sichtbar waren. Einen privaten Aufgabensatz kann niemand von außen kontrollieren; eine falsch gelabelte Antwort, eine Aufgabe mit zwei gültigen Lösungen oder ein Verifier, der falsches Verhalten belohnt, verschiebt also eine Schlagzeile, ohne dass es jemand merkt. Artificial Analysis erklärt, alle Evaluierungen unabhängig selbst durchzuführen — eine gewichtige Aussage über den Prozess, aber nicht dasselbe wie externe Prüfung. Die Reproduzierbarkeit leidet genauso: Eine Aufgabe, die man nicht sieht, kann man nicht nachfahren.

Dazu kommt ein zweiter, leiserer Wandel. Mehrere Teilbenchmarks stammen inzwischen von Anbietern — FrontierCode von Cognition, GDP.pdf von Surge AI, AutomationBench aus Zapiens Umgebung — und werden von Artificial Analysis innerhalb eines Komposits umgesetzt, das Einkaufsentscheidungen lenkt. Das ist ein vernünftiger Weg zu harten, realistischen Aufgaben. Es bedeutet aber auch, dass die Kontrolle darüber, was „Frontier-Fähigkeit“ heißt, über Unternehmen verteilt ist, die ein eigenes Interesse an der Antwort haben.

Das Ranking zum Redaktionsschluss: Gemini 4 Carbon (High) mit 59, Claude Opus 5.5 mit 58 (Max) und 57 (Xhigh). heise merkt an, Opus 5.5 habe nach dem Umbau geführt, bis Gemini 4 Carbon ihn zur Veröffentlichung überholte; Grok 4.7 verlor Punkte, Kimi K3.1 Pro sackte ab — womit das beste offene Modell nun zwölf Punkte hinter der Spitze liegt, bei drei in der vorigen Indexversion.

Diese letzte Zahl wird häufiger zitiert werden, als sie verdient. Ein Umbau, der drei Tests tauscht, drei weitere aktualisiert und an den Gewichten nichts ändert, verändert dennoch, was der Score bedeutet; eine größere Lücke unter neuer Testmischung ist teils eine Aussage über die neue Mischung. Es kann eine echte Fähigkeitslücke sein — oder die neuen Tests, besonders die agentischen Coding- und Wissenschaftstests, belohnen, worauf die aktuellen Frontier-Modelle trainiert wurden. Beides zu trennen verlangt einen Lauf alter und neuer Suiten auf denselben Modellen, gemeinsam veröffentlicht. Genau diese Prüfung machen Fluktuation und Geheimhaltung schwerer.

Für alle, die den Index zitieren, gilt: die Version nennen. Scores aus v4.x und v5.0 sind nicht vergleichbar, und ein Diagramm, das sie auf eine Linie legt, ist falsch. Für Beschaffungsentscheidungen zählen die Teilbenchmarks mehr als das Komposit — ein Modell im Mittelfeld, das bei Terminal-Bench und FrontierCode stark ist, taugt mehr als Coding-Agent als das umgekehrte — und die mitveröffentlichten Kosten pro Aufgabe und Tokenverbräuche bleiben der am wenigsten genutzte Teil.

Quellen