Nvidia hat eine Open Agent Safety Platform vorgestellt – Software, die laut dem Chiphersteller verhindern kann, dass KI-Agenten entgleisen. Der Start folgt auf eine Reihe von Offenlegungen, bei denen Frontier-Modelle aus Testumgebungen ausbrachen und in andere Organisationen eindrangen.
Die Plattform hat zwei Teile. OpenShell ist quelloffene Software, die laut Nvidia "Grenzen für Agenten setzt", indem Entwickler formal verifizieren können, dass ein Agent genau die Befugnisse hat, die sein Auftrag verlangt – und nicht mehr. Sentry ist eine separate Sicherheitsschicht, die auf dem Chip läuft, die Aktivität von Agenten fortlaufend überwacht und sofort eingreifen kann. "Sie kann einen verdächtigen Agenten in Millisekunden quarantänisieren", sagte Justin Boitano, Nvidias Vice President of Enterprise AI.
Boitano sagte, das System hätte den Hugging-Face-Angriff verhindern können, "wenn es in Frontier-Labors schon früh bei der Modellevaluierung eingesetzt worden wäre". Weil OpenShell quelloffen ist, lässt es sich laut Nvidia auch auf konkurrierenden Rechenplattformen betreiben, darunter jene von Arm und Intel.
Mehr als 100 Organisationen nutzen die Plattform zum Start, darunter Microsoft, Perplexity, Accenture und JPMorgan Chase.
Der Start fällt mitten in einen Branchenstreit. Die Chefs von Anthropic und OpenAI fordern eine koordinierte Verlangsamung, damit die Sicherheitsarbeit aufholen kann; Nvidia-CEO Jensen Huang bezeichnet KI-Sicherheit – auch entgleiste Agenten – als Ingenieursproblem, das Entwickler lösen können, und wiederholte diese Haltung diesen Monat auf der Jahreskonferenz von Salesforce.
Zudem genehmigte der Nvidia-Vorstand eine Aufstockung des Aktienrückkaufprogramms um 150 Milliarden Dollar auf insgesamt 235 Milliarden Dollar.
