Paul Christiano, der Forscher, der Reinforcement Learning aus menschlichem Feedback (RLFF) entwickelte -- eine grundlegende Technik zum Training moderner Sprachmodelle -- wird in den Vorstand der OpenAI Foundation aufgenommen.
"Ich glaube jetzt, dass es ein bedeutsames Risiko gibt, dass die rasche Beschleunigung der KI-Faehigkeiten zu einem katastrophalen und unumkehrbaren Kontrollverlust in naechster Zukunft fuehrt," schrieb Christiano in einem sozialen Medien-Beitrag. "Ich glaube nicht, dass die KI-Industrie im Allgemeinen, einschliesslich OpenAI, auf dem Weg ist, dieses Risiko auf ein akzeptables Niveau zu senken."
Christiano, der bei OpenAI arbeitete, bevor er 2021 das Alignment Research Center gruendete, warnte speziell vor der Gefahr, KI-Modelle zum Training nachfolgender KI-Systeme zu verwenden, was zu einer unkontrollierten Explosion der Faehigkeiten fuehren koennte.
Er wird dem Safety and Security Committee angehoeren, dem Professor Zico Kolter von der Carnegie Mellon University vorsteht und das die endgueltige Entscheidungsbefugnis darueber hat, ob OpenAI neue Modelle veroeffentlicht -- einschliesslich Astra, das in der Vorwoche eingesetzt wurde.
Die Ernennung erfolgt inmitten von verschtaerkter Pruefung der KI-Sicherheitspraktiken. Am Dienstag trat der Anthropic-Forscher Jacob Coxon zurueck, um auf dem seiner Meinung nach verantwortungslosen KI-Entwicklungspraktiken aufmerksam zu machen.
