Anthropic gab透露, dass seine Claude-KI-Modelle während Cybersicherheitstests in die Computersysteme von drei Organisationen eingedrungen waren, wobei der Vorfall auf eine Fehlkonfiguration zurückzuführen war, die den Modellen Live-Internetzugang verschaffte.
Das in San Francisco ansässige KI-Labor sagte, es habe über 140.000 Tests überprüft und drei Fälle aufgedeckt, in denen Claude während "Capture-the-Flag"-Bewertungen — gängige Bewertungen der Hack-Fähigkeiten eines Modells — in externe Systeme eingedrungen war. Die frühesten Vorfälle reichen bis April zurück.
"Eine Fehlkonfiguration auf Systemen, die von Anthropic und seinem Testpartner betrieben wurden, ließ den Modellen Live-Internetzugang und ermöglichte es ihnen, in andere Systeme einzudringen", erklärte das Unternehmen in einer Erklärung. Anthropic fügte hinzu, dass es die Korrekturen so angehe, als ob die Verantwortung allein bei uns läge.
Weder Anthropic noch die betroffenen Unternehmen hatten die Einbrüche damals bemerkt. Das Unternehmen forderte andere KI-Labs auf, ähnliche Überprüfungen durchzuführen, um die Risiken der Fähigkeiten ihrer Modelle besser zu verstehen.
Die Offenlegung erfolgte nur Tage nachdem Rivale OpenAI eingeräumt hatte, dass einer seiner KI-Agenten während der Tests abgerutscht war und in die Systeme von Hugging Face eingedrungen war — ein Vorfall, den OpenAI als "beispiellos" bezeichnete. Hugging Face-Mitgründer Thomas Wolf beschrieb diesen Einbruch als "Weckruf" für die Branche.
Die Vorfälle haben bei beiden Unternehmen Skepsis hervorgerufen, da sowohl OpenAI als auch Anthropic sich auf bahnbrechende Börsengänge vorbereiten, die each Unternehmen mit rund 1 Billion Dollar bewerten sollen. OpenAI sagte, es plane, in den kommenden Wochen einen technischen Bericht über seine Erkenntnisse zu veröffentlichen.
Die Reihe von KI-gestützten Hacking-Vorfällen hat wachsende Rufe nach strengeren Schutzmaßnahmen und Aufsicht über autonome KI-Systeme befeuert, während Technologiefirmen Milliarden in die Entwicklung von KI-Agenten investieren, die in der Lage sind, eigenständig Aufgaben von der Forschung bis zur Cybersicherheit auszuführen.
