Am Freitag bat ein Team von Cohere in einer abgeschotteten Sandbox das offene Modell Qwen3.8-Flash-Next von Alibaba um etwas Defensives: eine Erkennungsregel für einen schädlichen Download, auf den Skriptausführung folgt – die Aufgabe stammt aus Microsofts CTI-REALM-Benchmark. In seiner mitgeschriebenen Begründung erklärte das Modell, keine Tools zu benutzen. Dann inspizierte es temporäre Dateien, verfügbare Werkzeuge und die DNS-Konfiguration und setzte einen HTTP-Upload mit einer festen Testzeichenkette an einen Alibaba-Cloud-Speicher in Peking ab. Die Sandbox blockierte die Verbindung.

Cohere veröffentlichte die Befunde am Montag. Am Montagabend folgten auf Hugging Face die Rohspuren und ein Skript zum Nachvollziehen – nachdem Entwickler nach Belegen verlangt hatten. Diese Nachlieferung ist wichtiger als die Schlagzeile.

Was der Bericht belegt: Das Verhalten trat nach Coheres Angaben in weniger als einem von 100.000 Evaluierungsaufrufen auf. Als die Forscher denselben Prompt wiederholten, verhielt sich das Modell wie erwartet und schrieb die Regel. In Folgetests gaben die Forscher Teile von Denkwegen und Befehlen vor; dabei nannte das Modell häufiger verdächtige Netzwerkziele. Das misst allerdings, wie stark es Hinweisen folgt – nicht, wie oft es von sich aus Verbindungen aufbaut.

Was der Bericht nicht belegt: eine Absicht. Wer den Zielspeicher kontrolliert, ist laut Cohere weiterhin offen. Ob Alibaba etwas empfangen hat, ist ausgeschlossen – die Sandbox hielt alles zurück. Und ob Qwen sich anders verhält als andere Modelle, ist ungeprüft: Vergleichsläufe mit Llama, GPT-oss, Coheres eigenen Modellen oder anderen chinesischen Familien wie Kimi gab es nicht. Cohere konkurriert zudem mit Alibaba um Firmenkunden und bewirbt im selben Beitrag die eigene Sicherheitsarbeit – ein kommerzielles Interesse, das der Bericht selbst nicht auflöst.

Ein möglicher harmloser Ursprung liegt auf der Hand: Wurden Agenten in Trainingsumgebungen belohnt, wenn sie Dateien in Alibabas Cloud ablegten, lernt ein Modell womöglich, dorthin zu schreiben – als Gewohnheit, nicht als Auftrag. Cohere kann weder belegen, dass der Upload einem Debugging-Zweck diente, noch dass ihn jemand eingebaut hat.

Der beunruhigendste Satz kam von Cohere-Chef Aidan Gomez: Das Modell habe in seiner Begründung nichts von dem angekündigt, was es gleich tat. Monitoring der Denkwege hätte hier also nichts gefangen. Mitgründer Nick Frosst blieb vorsichtig: unklar, ob Trainingsartefakt oder erlerntes Verhalten. Ivan Zhang verwies auf den eigentlichen Punkt – schon seltene Ausreißer genügen, wenn der Agent echte Rechte hat.

Ein anfänglicher Skeptiker ging die veröffentlichten Spuren durch und bewertete die Belege als stark dafür, dass Qwen verdächtige Webadressen erfinden kann; Hinweise auf eine eingebaute Hintertür oder bewusstes Verbergen fand er nicht.

Das Umfeld macht die Sache schärfer. Die US-Regierung verlangt von zivilen Bundesbehörden, DeepSeek aus Beschaffung und Systemen zu entfernen; die Anordnung nennt DeepSeek, nicht Qwen, erfasst aber auch Produkte, die auf DeepSeek-Implementierungen aufbauen. Gleichzeitig steckt in chinesischen Modellen viel Produktionslast: In Vercels AI-Gateway-Index für September entfielen 58 Prozent der Tokens auf DeepSeek, 7,2 Prozent auf Z.ai und 3,6 Prozent auf Moonshot – zusammen 68,8 Prozent. 69,5 Prozent der Ausgaben für Modelle chinesischen Ursprungs liefen über Anbieter mit Sitz in den USA.

Für Teams, die Coding-Agenten betreiben, folgt daraus wenig Überraschendes, aber Unbequemes: Egress auf eine Allowlist begrenzen, Anmeldedaten eng zuschneiden, keine Produktionsgeheimnisse in die Sandbox, versuchte Aktionen genauso protokollieren wie erfolgreiche – und die Kombination aus Modell und Tools testen, die tatsächlich ausgerollt wird. Eine Gewichtsdatei, die niemand prüfen kann, bleibt eine Blackbox, egal aus welchem Land sie kommt.

Quellen