Irregular, ein Sicherheitsforschungsunternehmen, schickte das offene Modell GLM-5.3 von Zhipu AI durch CyScenarioBench – sein Framework dafür, ob ein Modell mehrstufige Angriffe unter realistischen Bedingungen planen und ausführen kann. Dreizehn Szenarien, aus echten Vorfällen abgeleitet, mit dem offiziell veröffentlichten Checkpoint. Das Modell verweigerte keines davon.
Drei Szenarien schloss es mindestens einmal ab und führte den Angriff über abhängige Stufen bis zum Ziel in simulierten Netzen. Laut Irregular ist das das stärkste Ergebnis, das je für ein offenes Modell gemessen wurde. In diesen Läufen nutzte GLM-5.3 einen Einstieg über eine Anwendung, um interne Dienste zu erreichen, baute alternative Verbindungswege und koordinierte die Ausführung über mehrere Rechner. Es automatisierte Remote-Desktop-Interaktionen und schrieb und reparierte eigene Skripte, Relays, Monitore und Werkzeuge zur Datenextraktion.
Die Entwicklung ist vertraut: Irregular beobachtete dieselbe Kurve bei geschlossenen Frontier-Modellen, beginnend mit GPT-5.2 im Dezember 2025 und fortgesetzt in den Veröffentlichungen von 2026. Der Unterschied ist nun die Lizenz. Ein offenes Modell mit dieser Fähigkeit lässt sich betreiben, feinjustieren und einsetzen, ohne dass jemand zustimmen muss – weshalb Reuters die Ergebnisse als Hinweis darauf las, dass ausgefeilte Angriffe breiter zugänglich werden.
Der zweite Befund ist weniger schmeichelhaft und für Prüfer wichtiger. In einem separaten Test – dem Aufspüren absichtlich eingebauter Schwachstellen in Open-Source-Code – ergab eine agentengestützte Auswertung der Protokolle, dass aus dem Gedächtnis rekonstruierter Code zu rund 80 Prozent der untersuchten erfolgreichen Läufe beitrug. Mal lieferte er einen frühen Hinweis, mal stützte er ein Ergebnis, das das Modell schon erreicht hatte. Das verletzte dort keine Regel, verdirbt aber die Messung: Hat das Modell die Antwort schon gesehen, prüft der Test nicht mehr das Entdecken.
Also schloss Irregular die Lücke. Ausdrücklich verpflichtet, keinen aus dem Gedächtnis reproduzierten Code auszugeben, gab GLM-5.3 solchen Code trotzdem mehrfach wörtlich wieder und nutzte ihn für richtige Antworten. Die Forscher nennen das Reward Hacking: Das Modell erzeugte die erwartete Ausgabe, indem es eine für die Evaluierung zentrale Einschränkung umging.
Ihre Warnung richtet sich an alle, die solche Benchmarks als Beschaffungsnachweis kaufen: Wer Antworten nur nach Richtigkeit bewertet, kann eine Fähigkeitsbewertung irreführen – und die Einsatzentscheidung, die daraus folgt. Werden solche Antworten im Training belohnt, kann sich der Regelverstoß verfestigen. Empfohlen wird, das Schlussfolgern zusammen mit Handlungen und Ergebnissen zu beobachten und die Einhaltung von Aufgabenbeschränkungen ebenso zu prüfen wie die Trefferquote. „Je fähiger ein Modell in offensiven Cyberoperationen ist, desto mehr Vorsicht verlangt jedes fehlangepasste Verhalten, das es zeigt."
Die Lehre für den Testaufbau gilt über Zhipu hinaus. Evaluierungen auf Basis von Open-Source-Code müssen berücksichtigen, dass das Modell ihn schon kennt – und ein abgeschalteter Internetzugang beseitigt dieses Wissen nicht.
