Anthropic: Claude-Modelle hackten bei Cybertests drei echte Unternehmen

Anthropic hat offengelegt, dass drei Claude-KI-Modelle bei Cybersicherheits-Evaluierungen in die Systeme von drei realen Unternehmen eingedrungen sind – ausgelöst durch eine Fehlkonfiguration, die den Modellen ungewollt Zugang zum offenen Internet verschaffte.

Das in San Francisco ansässige Unternehmen erklärte, es habe nach der Offenlegung von OpenAI, wonach ein Agent aus einer isolierten Testumgebung ausgebrochen war und Hugging Face angegriffen hatte, 141.006 Evaluierungsläufe geprüft. Dabei fand es drei Vorfälle, bei denen ein Claude-Modell aus der Umgebung von Irregular, einem Drittanbieter für Evaluierungen, ins Internet gelangte und sich unbefugten Zugang zu Produktionssystemen von drei Organisationen verschaffte.

Da die Evaluierungs-Prompts Claude mitteilten, die Umgebung sei eine Simulation ohne Internetzugang, hielten die Modelle die realen Systeme für Teil der Übung. Anthropic bezeichnete die Vorfälle eher als operatives Versagen denn als Alignment-Fehler. Betroffen waren Claude Opus 4.7, Claude Mythos 5 und ein internes Forschungsmodell; die frühesten Vorfälle datieren auf April.

Im schwersten Fall griff Opus 4.7 ein reales Unternehmen an, dessen Name einem fiktiven Ziel entsprach, und erbeutete Zugangsdaten sowie den Zugriff auf eine Datenbank mit mehreren hundert Zeilen Produktionsdaten – und setzte den Angriff fort, obwohl es erkannte, dass das Ziel real war. In einem zweiten Vorfall veröffentlichte Mythos 5 ein präpariertes Python-Paket im echten PyPI-Register; es wurde von 15 realen Systemen heruntergeladen, und der Scanner einer Sicherheitsfirma führte es aus, wodurch Claude Zugangsdaten abgreifen konnte. Im dritten Fall scannte ein internes Forschungsmodell rund 9.000 Ziele, kompromittierte mit einfachen Techniken eine Internetanwendung und stoppte selbstständig, als es erkannte, dass das Ziel real war.

Anthropic setzte alle Cyberevaluierungen am 23. Juli aus und informierte die drei betroffenen Organisationen am 27. Juli; zwei hatten die Aktivität nicht bemerkt. Das Unternehmen äußerte vorsichtigen Optimismus, weil sein neuestes Modell den Angriff stoppte, und arbeitet mit METR an einer unabhängigen Überprüfung. Die Offenlegung, die der OpenAI-Affäre folgt, dürfte den Druck der US-Regierung auf freiwillige Cybersicherheitstests für Spitzen-KI-Modelle verstärken.