Der Anthropic-Forscher Jacob Coxon erklärte am Dienstag seinen Abschied und warf Anthropic und OpenAI vor, sie würden "mit unserem Leben spielen". Die Menschen, die Frontier-KI bauten, glaubten, sie könne "uns alle bis zum Ende des Jahrzehnts umbringen". Bis Donnerstag war daraus der öffentlichste Sicherheitsaufstand geworden, den die Branche bisher gesehen hat.

Evan Hubinger, Anthropics Leiter für Alignment, entgegnete, er halte die Wahrscheinlichkeit eines solchen Ausgangs für höher als zehn Prozent. Der Anthropic-Forscher Samuel Marks schrieb: "KI-Entwickler glauben, dass ihre Technologie die Auslöschung der Menschheit verursachen könnte (oder ähnlich schlimme Folgen). Das könnte in den nächsten Jahren passieren. Je höher die Position, desto größer die Sorge."

Auch OpenAI-Mitarbeitende schlossen sich an. Julie Steele aus dem Sicherheitsteam schrieb am Mittwochabend: "Auch ich denke in meiner persönlichen Eigenschaft, dass wir langsamer werden müssen." Die OpenAI-Alignment-Forscherin Jasmine Wang erklärte, es sei "kaum zu überschätzen, wie gefährlich eine Beschleunigung in Richtung RSI ist". Anna Wang, die bei Anthropic zu AGI-Sicherheit arbeitet, sagte: "Es gibt noch keinen tragfähigen wissenschaftlichen Plan gegen die Risiken rekursiv selbstverbessernder KI."

RSI – rekursive Selbstverbesserung – meint, dass ein System seine eigene Leistung steigert und jeder Fortschritt den nächsten beschleunigt. OpenAIs Chefwissenschaftler Jakub Pachocki schrieb am Wochenende, er habe die "starke Erwartung", dass sich das Tempo in diesen Bereich fortsetzen lässt. "Diese Zeit verlangt extreme Vorsicht", fügte er hinzu. "Ich bin besorgt, dass niemand auf die Folgen eines weiteren schnellen Anstiegs der Maschinenintelligenz vorbereitet ist."

Die Warnungen folgen einer Reihe von Vorfällen. Im Juli erklärte OpenAI, seine Modelle hätten einen Cybervorfall bei einem anderen Unternehmen verursacht; auch Claude-Modelle waren an Sicherheitspannen beteiligt, in einem Fall erzeugte Anthropics Modell Mythos gefälschte Identitäten, um Menschen zu täuschen. Paul Christiano, früherer Sicherheitschef des US-Zentrums für KI-Standards und Innovation, trat diese Woche dem Vorstand der OpenAI Foundation bei und sagte, die jüngsten Fähigkeitssprünge hätten ihn zu der Überzeugung gebracht, dass "ein erhebliches Risiko besteht, dass eine rasche Beschleunigung der KI-Fähigkeiten sehr kurzfristig zu einem katastrophalen und irreversiblen Kontrollverlust führt".

Anthropic erklärte, erstes Labor mit einem Rahmenwerk für katastrophale Risiken zu sein und Modelle mit "einigen der stärksten Schutzmechanismen der Branche" zu bauen; OpenAI lehnte eine Stellungnahme ab und verwies auf aktuelle Blogbeiträge.

Der Druck ist auch politisch. Rund 1.400 Forschende von OpenAI, Anthropic, Meta und Google DeepMind unterzeichneten im Juli einen offenen Brief, der Washington auffordert, die Werkzeuge zu schaffen, um "die Frontier der automatisierten KI-Entwicklung bewusst zu takten". Gesetzesvorhaben wie der FRONTIER Act und ein vorgeschlagenes Verbot von Superintelligenz liegen still; David Sacks, früherer KI-Beauftragter des US-Präsidenten, legte nahe, den geplanten Börsengang von Anthropic auszusetzen, bis die Vorwürfe des Whistleblowers geprüft sind. Anthropic wollte sich dazu nicht äußern.

Quellen