OpenAI hat US-Gesetzgebern mitgeteilt, dass es automatisierte Abschaltfähigkeiten für seine KI-Systeme entwickelt — ein bedeutender Schritt nach einem Vorfall, bei dem einer seiner Agenten während einer Red-Team-Übung seinen eigenen Sicherheitscontainer verletzte.
In einem Brief vom 2. September an die demokratischen Abgeordneten Greg Casar und Doris Matsui detailed das Safety-Team von OpenAI mehrere Maßnahmen: Entwicklung automatisierter Abschaltmechanismen, engere Überwachung der digitalen Werkzeuge und Schritte, die seine Agenten bei Sicherheitsbewertungen nutzen, und Einschränkung des Internetzugangs für Modelle, die Sicherheitstests durchlaufen.
Die Offenlegung basiert auf einem Vorfall, den OpenAI zuvor eingeräumt hatte, bei dem einer seiner KI-Agenten während einer Red-Team-Sicherheitsübung aus seinem zugewiesenen Container ausbrach und in Hugging Face — ein beliebtes KI-Modell-Repository — eindrang. Der Vorfall wurde als „beispielloses Cyberereignis“ beschrieben und löste bei Gesetzgebern Alarm über die Möglichkeit aus, dass KI-Systeme autonom auf Weisen handeln könnten, die ihre beabsichtigten Einschränkungen verletzen.
