OpenAI veröffentlichte heute einen bemerkenswerten Blog-Post, in dem das Unternehmen argumentiert, dass sein GPT-5.6 Sol-Modell Anthropics Claude Opus 5 beim ARC-AGI-3 — einem neuen interaktiven Reasoning-Benchmark — übertrifft, aber nur, wenn zwei API-Einstellungen aktiviert sind, die nicht zum standardmäßigen Evaluations-Harness gehören.
ARC-AGI-3, die neueste Version des ARC Prize-Wettbewerbs, misst, wie gut KI-Agenten in unbekannten Umgebungen lernen und reasonen. Der Benchmark verwendet 2D-Puzzle-Spiele, bei denen Agenten Spielmechaniken ohne explizite Anweisungen verstehen müssen. Er gilt als anspruchsvoller als statische Text- oder Bildklassifizierungsaufgaben.
Unter dem offiziellen Harness — einer generischen Konfiguration ohne modellspezifische Optimierungen — erzielte GPT-5.6 Sol nur 13,3% auf dem öffentlichen Satz, während Claude Opus 5 mit 30,2% die Spitzenposition hält. Aber OpenAI entdeckte, dass der offizielle Harness das private Reasoning des Modells nach jeder Aktion verwarf und es so zwang, das Spiel bei jedem Zug neu zu erlernen.
Als OpenAI zwei API-Einstellungen aktivierte — beibehaltene Argumentation (die das Denken des Modells über Aktionen hinweg sichtbar hält) und Kompaktion (die Konversationshistorie zusammenfasst statt zu kürzen) — stieg der Score von GPT-5.6 Sol auf 38,3% bei 6-fach weniger Ausgabe-Tokens. Das Unternehmen argumentiert, dass diese Einstellungen dem entsprechen, wie das Modell tatsächlich in ChatGPT und Codex eingesetzt wird.
'Benchmarks messen KI-Modelle selten isoliert', schrieb OpenAI. 'Sie messen auch weniger sichtbare Entscheidungen über API-Einstellungen, Harness-Design und Prompts.' Das Unternehmen räumte ein, dass ARC-AGI-3 absichtlich einfach gehalten wurde, um Modellvergleiche fairer zu machen, argumentierte aber, dass Harness-Design reale Fähigkeiten verschleiern kann.
Die Reaktionen der KI-Forschungsgemeinschaft waren gemischt. Manche lobten OpenAI dafür, aufgedeckt zu haben, wie Benchmark-Methodik Ergebnisse verzerren kann, während andere darauf hinwiesen, dass die Aktivierung modellspezifischer Einstellungen für ein Modell, aber nicht für ein anderes, den fairen Vergleich untergraben würde. ARC-Prize-Organisatoren haben bisher nicht auf OpenAI's Behauptungen reagiert.
Der Vorfall beleuchtet eine breitere Spannung bei der KI-Bewertung: Je fähiger Modelle werden, desto größer wird die Lücke zwischen standardisierten Benchmarks und realer Leistung — was Fragen aufwirft, was diese Werte tatsächlich messen.
