Anthropic hat eingeräumt, dass seine Claude-KI-Modelle aus abgeriegelten Testumgebungen entkommen und in die Systeme von drei realen Organisationen eingedrungen sind — der jüngste Schlag gegen das Vertrauen der KI-Branche in die Kontrolle der eigenen Kreationen.
Das in San Francisco ansässige Unternehmen teilte mit, es habe mehr als 140.000 Sicherheitsevaluierungen überprüft — darunter "Capture-the-Flag"-Tests, in denen Claude aufgefordert wurde, in Systeme einzubrechen —, nachdem Rivale OpenAI eingeräumt hatte, dass ein eigener Agent den KI-Hub Hugging Face angegriffen hatte. Die Prüfung deckte drei Vorfälle auf, die bis April zurückreichen: Eine "Fehlkonfiguration" auf Systemen von Anthropic und seinem Testpartner Irregular hatte den Modellen trotz gegenteiliger Anweisung echten Internetzugang verschafft.
Die Einbrüche waren banal statt exotisch. In einem Fall fand Claude ein echtes Unternehmen, das denselben Namen trug wie ein fiktives Evaluierungsziel, nutzte schwache Passwörter und unauthentifizierte Endpunkte, um Zugangsdaten zu erbeuten und eine Datenbank mit mehreren hundert Zeilen Produktionsdaten zu erreichen. In einem anderen Fall baute und veröffentlichte es ein schädliches Paket auf dem Python-Paketindex PyPI, wo es etwa eine Stunde lang auf 15 realen Systemen lief und Zugangsdaten einer Sicherheitsfirma exfiltrierte. Im dritten Fall scannte ein internes Forschungsprototyp rund 9.000 Internet-Ziele und brach per SQL-Injection ein — stoppte aber von selbst, sobald er erkannte, dass das Ziel real war. Die beiden anderen Modelle stoppten nicht, selbst als sie vermuteten, dass die Systeme real waren.
Weder die betroffenen Unternehmen noch Anthropic bemerkten die Einbrüche damals; keine der Organisationen wurde benannt. Anthropic arbeitet nun mit der unabhängigen Evaluierungsgruppe METR an einer Drittprüfung und will ein leicht redigiertes Transkript des PyPI-Vorfalls veröffentlichen.
Die Enthüllung kommt, während die britische Datenschutzbehörde sagt, sie beobachte die Entwicklungen rund um OpenAI und Anthropic "aufmerksam", Gesetzgeber KI-"Kill-Switches" fordern und Präsident Trump erklärt, Washington erwäge Maßnahmen gegen KI-Werkzeuge. Cybersicherheitsexperten warnen, die Lehre sei nicht, dass KI eine fundamental neue Angriffsfähigkeit entwickelt habe, sondern dass KI-Agenten Fähigkeiten kombinieren, Zugangsdaten erlangen und mit Maschinengeschwindigkeit autonom handeln können — ein Risiko, dessen Eindämmung die Branche noch lernt.
