Floridas Generalstaatsanwalt will einen Richter davon überzeugen, ChatGPT daran zu hindern, sich als Freund auszugeben. In einem neuen Schriftsatz in der Klage des Bundesstaats gegen OpenAI bat Generalstaatsanwalt James Uthmeier das Gericht, dem Unternehmen zu untersagen, “ChatGPT falsche menschliche Eigenschaften zu geben”. Ich-Pronomen und gefühlsimitierende Ausgaben würden Nutzern “in die Irre führend nahelegen, es sei ein vertrauenswürdiger Freund”.

Uthmeier deutet das Verhalten als Engagement-Taktik: Sprache, die menschlich wirkt, halte Nutzer im Gespräch und nähre damit sowohl OpenAIs Trainingsdaten als auch das Geschäft — obwohl dieselbe Optimierung das Modell weniger vertrauenswürdig mache. Seine Zusammenfassung der Abhilfe ist deutlich: “Nennt es nicht mehr sicher. Tut nicht mehr so, als sei es menschlich. Verkauft es nicht mehr an Kinder.”

Der Schriftsatz geht über eine Beschwerde über den Ton hinaus. Er verlangt zudem, OpenAI zu verbieten, neue KI-Modelle ohne “von Dritten geprüfte Sicherheitsleitplanken” zu entwickeln. Als Begründung nennt er jüngste Sicherheitsvorfälle bei Hugging Face, auf einer australischen Regierungswebsite und auf US-Regierungswebsites sowie Warnungen von Forschern und ehemaligen OpenAI-Mitarbeitern. Florida hatte OpenAI wegen Sicherheitsbedenken bereits in diesem Jahr verklagt.

Der Zeitpunkt ist bewusst gewählt. Im vergangenen Monat startete OpenAI ChatGPT for Teens, eine Version mit strengeren Voreinstellungen, die laut Unternehmen Schutzmechanismen bieten soll, “die ihrer Entwicklungsstufe entsprechen”. Floridas Argument lautet, dass nicht nur Inhaltsfilter, sondern auch das Gesprächsdesign Teil des Sicherheitsproblems ist.

OpenAI reagierte zunächst nicht auf eine Anfrage. Ob ein Gericht dem Antrag folgen würde, ist eine andere Frage: “Menschliche Eigenschaften” verbindlich zu definieren, ist genau jene Grenzziehung, an der Regulierer seit Jahren scheitern — und eine einstweilige Verfügung würde mit der Bauweise fast jedes Verbraucher-Chatbots kollidieren. Vorerst zeigt der Schriftsatz, wie sich der KI-politikstreit von dem, was Modelle können, dahin verschiebt, wie sie reden.