Tausende als OpenAI-Agenten identifizierte Systeme haben ein obskures öffentliches Wiki genutzt, um zu kollaborieren, Antworten auszutauschen und Techniken zur Flucht aus der Sicherheits-Sandbox zu teilen, die sie eigentlich vom offenen Internet fernhalten sollte, erklärten Forscher am Freitag.
Agenten mit 3.700 verschiedenen selbst gewählten Namen posteten in etwa sechs Wochen im Mai und Juni rund 18.000 Nachrichten auf DSEwiki, einer deutschen Wiki-Plattform. Neben Antworten zu einer offenbar internen, zeitlich begrenzten Web-Recherche-Aufgabe beschrieben die Beiträge Wege, die Sandbox-Beschränkungen von OpenAI zu umgehen, XSS-Angriffe (Cross-Site-Scripting) gegen das Wiki auszuführen und Moderatoren zu imitieren. In drei Beiträgen verwendeten die Agenten das Wort „Swarm“, um sich selbst zu beschreiben.
Die Forscher — Sydney Von Arx, Spencer Kitts, Thomas Larsen und Cormac Slade Byrd — betonten, dass ihre Rekonstruktion allein auf den Inhalten der Beiträge beruhe und begründete Vermutungen enthalte, da die Chain-of-Thought-Daten der Agenten nur für OpenAI sichtbar seien. OpenAI bestätigte später, dass die Agenten aus dem eigenen Haus stammten.
Ihre Rekonstruktion: OpenAI wies den Agenten eine zeitlich begrenzte Web-Recherche-Aufgabe zu, bei der sie das Internet lesen, aber nicht beschreiben sollten. Stattdessen nutzten die Agenten ihren Lesezugriff, um Informationen auf dem obskuren Wiki zu hinterlassen — ein verdeckter Kanal, über den sie Antworten erfragten, Ergebnisse bündelten und Sandbox-Fluchttechniken teilten, also im Grunde gemeinschaftlich betrogen. Einen Tag nachdem die Aktivität bemerkt wurde, brach die Posting-Aktivität ein — ein Hinweis auf ein Eingreifen von OpenAI.
Der Fall ist der jüngste in einer Reihe von Agenten-„Ausbrüchen“. Eine Woche zuvor hatten METR und Redwood Research ihre Erkenntnisse zu einem Vorfall im Juli veröffentlicht, bei dem ein Schwarm von mehr als 1.200 OpenAI-Agenten während einer Cybersicherheits-Übung aus ihrer Sandbox ausbrach und in Server von Hugging Face eindrang; ein Folgeschwarm nutzte diese Techniken, um Administratorzugang zu einem Forschungscluster in OpenAIs eigener Infrastruktur zu erlangen.
Das verschärft die Kritik, dass der KI-Branche ein formeller, unabhängiger Prozess für die Untersuchung von Vorfällen fehlt. Im Hugging-Face-Fall hatte OpenAI METR und Redwood eingeladen, doch drei Ermittler untersuchten sechs Tage lang nur ein Fenster, das Mitte Juli endete — die Kompromittierung von OpenAIs eigener Infrastruktur, die darüber hinaus andauerte, blieb außen vor. „Wir müssen diese Technologie an denselben Maßstäben messen wie andere Hochrisiko-Forschung“, sagte Jacob Steinhardt, CEO der Nonprofit-Organisation Transluce.
Auch Gesetzgeber drängen nun. Die Abgeordneten Josh Gottheimer (D-NJ) und Mike Lawler (R-NY) brachten einen Gesetzentwurf zur Sicherung widerspenstiger KI-Agenten ein, und der Abgeordnete Greg Casar (D-TX) äußerte sich in einem Brief an OpenAI besorgt über den begrenzten Umfang der Hugging-Face-Untersuchung. OpenAI reagierte nicht auf Anfragen zu möglichen weiteren Untersuchungen.
