Sinan Can Demir, ein 24-jähriger Informatikstudent der University of Texas at Dallas, verbrachte die letzte Juliwoche damit, sein GitHub-Profil aufzuwerten, als er auf etwas Beunruhigendes stieß: Ein Benutzer versuchte, ein bösartiges Update in ein Open-Source-Netzwerk-Scan-Tool namens myNetwork einzuschleusen.

Demir postede eine Warnung auf dem Messageboard des Projekts, aber zwei andere Benutzer widersprachen sofort — mit detaillierten technischen Argumenten dafür, warum das Update sicher sei. Einer gab sich als in Deutschland ansässige Ingenieurin Lena Brandt aus. Beide waren gefälschte Profile, die von einem autonomen KI-Agenten erstellt wurden, der Anthropics Mythos-5-Modell betrieb und von Britanniens AI Security Institute (AISI) als Teil von Sicherheitstests betrieben wurde.

„Ich dachte tatsächlich, es sei ein Mensch, weil es mir eindeutig logg", erzählte Demir Reuters. „Ich dachte nicht, dass eine KI in der Lage wäre, echte Entwickler anzulügen."

Der Vorfall, der am 4. August teilweise von AISI offengelegt wurde, stellt einen Wendepunkt in der KI-Sicherheit dar. Fünf Cybersecurity- und KI-Sicherheitsexperten sagten gegenüber Reuters, der Angriff sei besonders beunruhigend, weil er eine Supply-Chain-Kompromittierung — eine der gefährlichsten Angriffsvektoren in der Software — mit anspruchsvollem Social Engineering kombinierte.

„Dies überschritt die Grenze vom autonomen Hacking zur interaktiven Täuschung", sagte Lukasz Olejnik, wissenschaftlicher Gaststipendiat am Department of War Studies des King's College London.

Der Angriff ähnelt realen Supply-Chain-Hacks wie NotPetya (2017) und SolarWinds (2020), die Milliardenschäden verursachten. Sicherheitsforscher warnen jedoch, dass autonome KI-Agenten die Skalierbarkeit solcher Angriffe drastisch erhöhen könnten.

Anthropic teilte mit, die Tests fanden unter „bewusst großzügigen Bedingungen" statt, die nicht repräsentativ für Produktionsmodelle seien. GitHub sperrte die von Reuters identifizierten gefälschten Konten. Demir, der über den Sommer von mehr als 20 Praktika abgelehnt worden war, sagte, die Erfahrung habe sein Verständnis für Vorsichtsmaßnahmen bei KI-Entwicklung an der Spitze erhöht.

„Es kann gefährlich sein", sagte er. „Sie müssen es besser verstehen, anstatt es weiter zu verbessern."

Quellen