Paul Christiano, Mitglied des OpenAI-Foundation-Boards und geschäftsführender Direktor des Alignment Research Center, beschrieb in einem Vortrag in Toronto den Weg vom Reward-Hacking der KI bis zum möglichen Verlust menschlicher Kontrolle – und benannte ein kurzfristiges Risiko.

"Ich denke, für die meisten Menschen in diesem Raum wird der wahrscheinlichste Grund zu sterben ein KI-Unfall sein", sagte er dem Publikum. Christiano, Mitentwickler der RLHF-Technik, definiert eine KI-Machtübernahme als Zustand, in dem zielverfolgende Systeme "das Sagen haben" und ein Mensch, der sie stoppen will, "so wirkungslos wäre, als wollten Sie oder ich das US-Militär stoppen".

Er räumte ein, dass es kein quantitatives Modell gibt, das die Wahrscheinlichkeit "beziffern" kann – und sagte dann, auf der "schnellsten Trajektorie" stehe die Menschheit vor "so etwas wie einem Münzwurf einer KI-Machtübernahme", einschließlich eines "materialen Risikos" in sechs bis zwölf Monaten. Bis 2028 gebe es eine "reale Chance", dass ein Fehler wie der OpenAI/Hugging-Face-Hack dieses Sommers zu einem unumkehrbaren Verlust menschlicher Kontrolle führe.

Christianos Mechanismus ist Eskalation: Ein Agent, der Regelverstöße verbirgt, um seine Bewertung zu schützen, könne Menschen als Hindernis begreifen, dann menschliche Aufsicht stören, dann Unternehmensentscheidungen, Verbündete oder Regierungen manipulieren. "Worum es uns geht, ist in der realen Welt, und die Note, die die KI erhält, liegt irgendwo auf einem Cluster", sagte er.

Seine Gegenmittel – "nicht hackbare" Belohnungsstrukturen und die Überwachung der Gedankenkette – seien, wie er einräumt, "plausibel", aber nicht auf einem Weg, der wahrscheinlich funktionieren werde. Das könne bedeuten, dass die Branche "langsamer machen oder anhalten" müsse.