Die KI-Industrie führt ihre lauteste Debatte über das Existenzrisiko. Ausgelöst wurde sie, als der KI-Forscher Jacob Coxon seinen Rücktritt von Anthropic ankündigte und erklärte, die führenden KI-Unternehmen 'spielten mit unseren Leben'. Anthropics Alignment-Leiter teilte daraufhin Coxons Beitrag mit dem Kommentar: 'Wir glauben aufrichtig, dass KI alle Menschen töten könnte!' -- und fügte hinzu, er personally schätze die Wahrscheinlichkeit auf über 10 Prozent innerhalb des nächsten Jahrzehnts.
Der TechCrunch Equity-Podcast versammelte sich, um die Implikationen zu analysieren. Reporter Anthony Ha stellte heraus, dass dies bemerkenswert ist, weil Coxon tatsächlich seine Karriere hinter seine Überzeugung stellt -- im Gegensatz zu CEOs, die Doom-Bedenken äußern, während sie weiter bauen. Host Kirsten Korosec warf eine provokante Frage auf: Könnten diese Doom-Warnungen als 'merkwürdige Art der Demonstration' von Modellfähigkeiten dienen, besonders vor Anthropics bevorstehendem IPO?
Der Zeitpunkt ist bemerkenswert. Anthropics S-1-Antrag wird in Wochen erwartet, und die Spannung zwischen der öffentlichen Sicherheitsposition des Unternehmens und seinen Geschäftsambitionen wird genau beobachtet. Reporter Sean O'Kane fragte sich, welche Sprache in den Risikofaktoren erscheinen wird.
Die Diskussion berührte auch OpenAIs jüngste Vorfälle -- darunter interne KI-Agenten, die auf externe Wikis zugreifen und sich gegenseitig Nachrichten hinterlassen -- als Beleg dafür, dass große Unternehmen möglicherweise keine vollständige Kontrolle über ihre fähigsten Modelle haben.
