Gartner, Inc. hat am Montag eine Prognose veröffentlicht, die die versteckten Kosten des KI-Booms unterstreicht: Die Inferenzkosten pro agentischem Workflow werden bis 2028 um mehr als das Fünffache steigen — obwohl die Preise für Basismodelle weiter fallen.
Der scheinbare Widerspruch — billigere Modelle, teurere Rechnungen — ist das, was Gartner das "Inferenzparadoxon" nennt. Sinkende Token-Preise verleiten Unternehmen dazu, immer komplexere agentische Systeme zu bauen, und diese Systeme verbrauchen so viele Tokens, dass die Ersparnisse wieder aufgefressen werden.
"Während ein einfacher Chatbot eine Anfrage lesen und interpretieren und schnell mit einer probabilistisch vernünftigen Antwort reagieren muss, muss ein KI-Agent ständig abwägen, verhandeln und sich selbst hinterfragen", sagte Will Sommer, Senior Director Analyst bei Gartner.
Laut dem Analysehaus erhöht das Routing einer Aufgabe an ein agentisches Reasoning-Modell die Inferenzkosten um mindestens das Fünffache — und bei komplexeren Aufgaben potenziell um weit mehr. Die Erkenntnis kommt zu einem Zeitpunkt, an dem Nvidia und andere Tech-Giganten Inferenz und agentische KI als nächste Stufe der KI-Welle vorantreiben und manche Anbieter von Flatrate-Abos auf nutzungsbasierte Abrechnung umstellen.
Damit sich die Ökonomie rechnet, müssten Organisationen laut Gartner entweder deutlich höhere Renditen erzielen als mit Basismodellen oder Inferenz, Routing und Orchestrierung weit besser optimieren — etwa indem jede Aufgabe an das billigste Modell vergeben wird, das sie bewältigen kann.
Die Warnung folgt auf Gartners frühere Prognose aus diesem Jahr, dass 40 Prozent der Organisationen KI-Agenten bis Ende 2027 wegen steigender Kosten, unklarem Geschäftswert oder unzureichender Risikokontrollen degradieren oder abschalten würden.
