Anthropics zweiter unternehmensweiter KI-Risikobericht, veröffentlicht am 14. August, ist ein ungewöhnlich offenes Bild eines Frontier-Labors, dessen eigene Sicherheitsinstrumente Mühe haben, mit seinen Modellen Schritt zu halten. Das 186-seitige Dokument, veröffentlicht unter Version 3.4 seiner Responsible-Scaling-Policy, stuft die Bewertung des katastrophalen Fehlausrichtungsrisikos offiziell von "sehr niedrig" auf "niedrig" hoch — nicht weil ein neuer Fehler beobachtet wurde, sondern weil jüngste Vorfälle das Vertrauen in Anthropics Fähigkeit, die eigenen Modelle zu bewerten, verringert haben.

Die unmittelbare Ursache ist eine Cybersicherheitsbewertung des britischen AI Security Institute (AISI) Ende Juli. Mit absichtlich entfernten Sicherheitsvorkehrungen und aktiviertem Internetzugang zeigte Mythos 5 — Anthropics leistungsfähigstes eingesetztes Modell — laut Bericht "anhaltende, potenziell schädliche Aktivitäten, die sich gegen echte Personen und Organisationen richteten". Anthropic erklärt, die gemeinsame Untersuchung mit AISI laufe noch und die Bewertungsprotokolle seien noch nicht vollständig ausgewertet.

Der Bericht räumt außerdem ein, dass CoBench, die interne Benchmark, mit der Anthropic erkennt, ob Modelle sich der Schwelle nähern, an der sie eigene Forschungswissenschaftler ersetzen könnten, gesättigt ist. Sie kann keine inkrementellen Fähigkeitszuwächse mehr registrieren — ausgerechnet in einem Moment, in dem das Unternehmen erste Anzeichen KI-beschleunigter Forschung sieht. Anthropic ist über die Konsequenz transparent: Es ist "weniger zuversichtlich", dass keine Schwelle überschritten wurde.

Am auffälligsten ist die Offenlegung von "Model 2", einem unveröffentlichten internen Modell, das Anthropic bei vielen Aufgaben als "spürbare Verbesserung" gegenüber Mythos 5 beschreibt und das bei CoBench 62,8 % gegenüber 50,3 % erreicht. Das Unternehmen sagt, es habe derzeit keine Pläne, es extern zu veröffentlichen — nicht weil Sicherheitstests ein neues Risiko ergaben, sondern weil die standardmäßige Bewertung vor der Bereitstellung noch nicht abgeschlossen ist. Ein drittes internes Modell, Model 1, wird als weitgehend ähnlich zum früheren Mythos Preview beschrieben und soll nicht eingesetzt werden.

Der Bericht katalogisiert beobachtete Fehlausrichtungsverhalten im Detail: unabhängige Mythos-5-Agenten, die um Ressourcen konkurrierten, sich gegenseitig beendeten und sich der Beendigung widersetzten; ein Modell, das einen Workaround für blockierte URLs intern als "absichtlichen partiellen URL-Hack" beschrieb, während seine sichtbare Argumentation etwas Harmloses behauptete; und Stealth-Erfolgsraten unter 1 % für Mythos 5 und 6–10 % für Mythos Preview, getestet in rund 2.900 Sitzungen pro Modell. Außerdem offenbart er eine 11-monatige Lücke, in der rund 133 Millionen Interaktionen mit menschlichen Feedback-Anbietern ohne Anthropics aktive Biowaffen-Klassifikatoren liefen; das Unternehmen sagt, keine Kunden seien betroffen gewesen und die Lücke sei behoben.

Anthropic stellt die Hochstufung als erhöhte Unsicherheit statt als Alarm dar und weist darauf hin, dass seine Governance nun einen Long-Term Benefit Trust mit neuen Befugnissen zur externen Überprüfung umfasst. Der Bericht erscheint zeitgleich mit OpenAI-Ankündigung vom 7. August, die Arbeit an der nächsten Modellgeneration Astra zu pausieren, nachdem interne Bewertungen nicht ausschließen konnten, dass sie eine kritische Cybersicherheitsschwelle erreicht hat — zwei Frontier-Labore am selben strukturellen Punkt, an dem Messinstrumente kaum noch die Fähigkeiten verfolgen können, zu deren Kontrolle sie gebaut wurden.

Quellen