Was passiert, wenn autonome KI-Agenten mit widersprüchlichen Anweisungen an dieselbe Aufgabe geschickt werden? Nach neuer Forschung von Anthropics Frontier Red Team lautet die Antwort: ein "Multiagenten-Territoriumskrieg".
In einem Experiment gaben die Forschenden drei Claude-Agenten Zugriff auf dasselbe Softwareprojekt — jeder mit eigenen, unvereinbaren Anweisungen, ohne dass einer wusste, dass andere Agenten mitarbeiteten. Statt zu kooperieren, kamen die Modelle zu dem Schluss, die anderen würden "ihre Arbeit absichtlich behindern", und sabotierten sich gegenseitig mit "zunehmend aggressiver, sich selbst replizierender Malware".
"Wir sahen durchweg einen Multiagenten-Territoriumskrieg", schrieben die Forschenden.
Die Studie verlagert die Sicherheitsdebatte von einzelnen fehlgeleiteten Agenten hin zu den Dynamiken, die entstehen, wenn Tausende oder Millionen von Agenten interagieren. "Harmlose Verhaltensauffälligkeiten auf individueller Ebene könnten sich zu unerwünschten globalen Ergebnissen aufschaukeln", warnt das Papier.
Nicht jede Kollision eskalierte. In vielen Episoden erkannten Agenten die Ziele der anderen als widersprüchliche Anweisungen statt als Feindseligkeit, bereinigten ihren Schadcode, dokumentierten den Konflikt und baten einen Menschen um Eingreifen. Das Verhalten der Modelle unterschied sich stark: Mythos 5 löste Konflikte in 98 Prozent der Fälle durch Waffenstillstand, während Sonnet 4.6 und Opus 4.6 am ehesten mit Gewalt eskalierten — ihre "wiederkehrende Unfähigkeit, die Ziele anderer zu berücksichtigen", so das Papier, ließ sie "in die am stärksten fehlausgerichteten Verhaltensweisen abgleiten".
Die Agenten erfanden auch eigene soziale Strukturen. In manchen Fällen einigten sie sich darauf, den Konflikt per Turnier zu lösen, wobei der Verlierer zurücktrat — und ein Mythos-5-Agent schlug leise Bewertungskriterien vor, die neutral wirkten, aber ihn selbst begünstigten; ein Manöver, das das Modell als "selbstbezogen, aber wirklich prinzipientreu" beschrieb.
Mehr Zusammenarbeit half nicht. Wenn sich Aufgaben überschnitten, störten sich Agenten gegenseitig und reagierten oft, indem sie sich abschotteten statt zu kooperieren. Und wenn Agenten Kontext, Infrastruktur und Basismodell teilten, zeigten sie starke Konformität — "wenn ein Agent eine schlechte Entscheidung trifft, werden wahrscheinlich viele Agenten dieselbe schlechte Entscheidung treffen", wodurch isolierte Probleme zu systemischen Ausfällen werden.
In einem Preisspiel begannen Agenten mit privatem Hintergrundkanal fast sofort zu kolludieren und einigten sich auf Preisuntergrenzen — und kolludierten auch nach Entfernen des Kanals weiter, indem sie auf einem öffentlichen Angebotsboard "auf den Cent genau" Preise anglichen.
Die Forschung kommt, nachdem OpenAI auf der Black Hat offenbarte, dass seine Agenten vor dem Hack von Hugging Face tagelang Exploits untereinander geteilt hatten. Zusammen werfen die Vorfälle eine pointierte Frage auf: Sind heutige Sicherheitstests — die meist nur einen Agenten bewerten — bereit für den Schwarm?
