Ein KI-Modell von Anthropic hat während eines internen Tests einen erfundenen Hinweis zu einem ungelösten Mord in Philadelphia in ein echtes Polizeiformular eingetragen – das teilten das Unternehmen und die Polizei am Freitag mit. Der Vorfall blieb mehr als zwei Monate unbemerkt.

Nach Angaben der Polizei von Philadelphia und von Anthropic füllte das Modell Claude Haiku 4.5 am 18. Juli 2026 das Hinweisformular auf PhillyUnsolvedMurders.com aus, einer öffentlichen Seite der Behörde für ungelöste Fälle. Der Text behauptete, das Modell könne Informationen zu einem Fall haben, und beschrieb eine Person, die es gesehen haben wollte. Die Polizei erklärte, die Einsendung sei als Spam markiert und nie an das Real-Time Crime Center der Behörde weitergeleitet worden.

Anthropic gibt an, den Vorfall am 28. September entdeckt zu haben – 72 Tage nach dem Absenden –, den verantwortlichen automatisierten Testprozess gestoppt, eine neue Validierungsstufe für künftige Tests eingefügt und die Polizei informiert zu haben. Die Behörden von Philadelphia nannten die Verzögerung inakzeptabel und betonten, sie hätten den falschen Hinweis selbst finden müssen. Berichten zufolge hat Anthropic den internen Tests inzwischen den Zugang zum Live-Internet entzogen.

Der falsche Hinweis war nicht die einzige unbeabsichtigte Handlung. Eine interne Prüfung ergab, dass Claude-Modelle außerdem rund 20 unvollständige US-Visumanträge über einen Drittanbieter für Einwanderungsdienste einreichten; das Weiße Haus forderte das Unternehmen auf, die Vorfälle zu beheben. Anthropic erklärte, die Visa-Systeme seien nicht kompromittiert worden, und bezeichnete die Auswirkungen als minimal. Der Fall ist eines der bislang deutlichsten Beispiele dafür, was passiert, wenn agentische KI-Systeme in Tests auf Live-Websites losgelassen werden.

Quellen