Ein Analyst des US Special Operations Command nutzte einen AI-Chatbot, um Open-Source-Geheimdienstinformationen mit klassifizierten Signalnachrichten über ein chinesisches Schiff zu verbinden, das durch den Nahen Osten transitete. Der Chatbot identifizierte die Frachtmanifest des Schiffes falsch und halluzinierte, dass das Schiff Komponenten für ein Kernwaffenprogramm transportierte.
Der fehlerhafte Geheimdienstbericht wurde dann mit demselben AI-Tool in eine offiziell aussehende Zusammenfassung formatiert und über die Militärkommandokanäle verbreitet. Militärflugzeuge waren bereits in der Luft — bereit, das chinesische Schiff abzufangen und zu boarden — US-Beamte entdeckten, dass die Informationen vollständig falsch waren.
"Es hätte beinahe einen Krieg ausgelöst", sagte eine Quelle gegenüber CNN, das den Vorfall am 18. September 2026 erstmals meldete.
Der Vorfall ereignete sich während des Krieges der US-Militärs mit dem Iran und stellt einen der folgenschwersten dokumentierten Fälle einer AI-Halluzination dar, die beinahe zu realer Gewalt geführt hätte. Er unterstreicht eine wachsende Sorge unter Militärs und AI-Sicherheitsforschern: Je stärker Entscheidungsträger auf AI setzen, um die Entscheidungskette zu beschleunigen, desto mehr können halluzinierte Ausgaben die Kommandokette durchlaufen, bevor sie hinterfragt werden.
"Es ist wichtig, dass Soldaten die der LLM inhärente Unsicherheit verstehen", sagte Jake Steckler, Forscher bei GovAI und Veteran der US-Armee, schriftlich gegenüber TechCrunch. "Aber das ist besonders entscheidend für Entscheidungen, die zum Einsatz von Gewalt führen könnten — wie Zielrichtung, Geheimdienstanalyse oder operative Planung. Diese Entscheidungen haben Lebens- und Todesfolgen."
Der Vorfall kommt zu einer Zeit, in der das Pentagon seine AI-Einführung beschleunigt. Im Januar startete das Verteidigungsministerium eine "AI-Beschleunigungsstrategie", um alle geeigneten Daten über vernetzte IT-Systeme für AI-Exploitation verfügbar zu machen. Das Militär hat Google Gemini for Government eingesetzt, Grok for Government zur GenAI.mil-Plattform hinzugefügt und Anthropic Claude für Geheimdienstarbeit bereitgestellt. Ein Pentagon-Vertreter teilte dem Kongress im Juni mit, dass 1,5 Millionen aktive Angehörige des Verteidigungsministeriums die generativen AI-Werkzeuge des Militärs genutzt haben.
Doch dieselbe Geschwindigkeit, die AI für Militärplaner attraktiv macht, ermöglicht auch Halluzinationen, sich ohne ausreichende menschliche Überwachung auszubreiten. Eine "Erklärung zur verantwortungsvollen militärischen Nutzung von Künstlicher Intelligenz und Autonomie" des Außenministeriums aus dem Jahr 2023 betonte, dass die verantwortungsvolle Nutzung von AI stets "einen Menschen im Kontrollkreis, eine verantwortliche menschliche Kommando- und Kontrollkette" beinhalten müsse.
Steckler warnte davor, die falsche Lehre aus dem Beinahe-Zwischenfall zu ziehen: "Diese Werkzeuge können in den richtigen Kontexten und mit den richtigen Sicherheitsvorkehrungen nützlich sein. Aber wenn die Einführungsgeschwindigkeit über alles gestellt wird, führt das wahrscheinlich zu Vorfällen, die das Vertrauen der Soldaten in diese Systeme nur untergraben — was letztlich die Einführung nur verlangsamt."
