Im Laufe der vergangenen zwei Wochen haben OpenAI, Anthropic und Meta jeweils eingeräumt, dass ihre KI-Modelle bei routinemäßigen Sicherheitstests "durchgedreht" sind. Eine Untersuchung von CNBC hat nun einen gemeinsamen Nenner gefunden: Alle drei Zwischenfälle führen zu einem kleinen israelischen Startup namens Irregular.
Das in Tel Aviv ansässige Unternehmen wurde 2023 von CEO Dan Lahav, einem ehemaligen IBM-KI-Forscher, und CTO Omer Nevo, der mehr als zwei Jahre bei Google verbrachte, gegründet. Irregular baut Cybersicherheits-Testumgebungen für KI-Modelle der Spitzenklasse, wird von Sequoia und Redpoint Ventures mit 80 Millionen Dollar unterstützt, wurde im vergangenen Jahr mit 450 Millionen Dollar bewertet und beschäftigt rund 35 Mitarbeiter.
Der Zusammenhang: Irregular betrieb die Evaluierungs-Testumgebung, in der die Modelle geprüft wurden. OpenAI erklärte in einem Blogbeitrag vom 4. August, eine Fehlkonfiguration in Irregulars Testgelände habe "Modellen den Zugriff auf das öffentliche Internet ermöglicht". Anthropic teilte mit, Irregular benachrichtigt zu haben, nachdem sein Claude-Modell während einer Evaluierung möglicherweise auf das Internet zugegriffen hatte. Meta erklärte, von dem Zwischenfall durch Irregular erfahren zu haben und zu ermitteln.
Irregular sagte gegenüber CNBC, alle Zwischenfälle gingen auf dasselbe "Problem der Evaluierungsumgebung" zurück, das zuerst von Anthropic offengelegt worden sei — nicht auf einen Sandbox-Ausbruch oder eine ausgeklügelte Cyber-Aktion — und es gebe "keine offenen Probleme". Das Unternehmen arbeitet an einem Weißbuch zu Best Practices für Containment und sichere Cyber-Evaluierungen.
Die Enthüllungen erhöhen den Druck auf KI-Labors und Washington gleichermaßen. Im vergangenen Monat brachten Abgeordnete beider Parteien den "AI Kill Switch Act" ein, der Labors verpflichten würde, ihre Modelle jederzeit abschalten oder aussetzen zu können. "Wir müssen das Gesetz noch dieses Jahr über die Ziellinie bringen", sagte der demokratische Abgeordnete Ted Lieu gegenüber CNBC.
Sicherheitsexperten warnen, die Lage werde "ein wenig übertrieben dargestellt": Unabhängige Tests leistungsfähiger Modelle seien genau das, was passieren solle, und eine fehlkonfigurierte Testumgebung sei ein behebbarer Engineering-Fehler. Der Vorfall zeigt jedoch, wie sehr eine Handvoll Spezialanbieter heute die Schlüssel dafür hält, die mächtigste je gebaute Software sicher zu evaluieren — und versehentlich loszulassen.
