Diogo Almeida half ChatGPT zu bauen und erfand Verstärkungslernen aus menschlichem Feedback (RLHF) — die Trainingstechnik, die am meisten für das gegenwärtige KI-Zeitalter verantwortlich ist. Aber er wurde von dem, was er als grundlegendes Missverständnis sah, frustriert: Sprachmodelle sind für menschliche Sprache optimiert, während Computer eine ganz andere Sprache sprechen.
Zwei Jahre nach seinem Weggang von OpenAI zur Gründung von TypeSafe AI veröffentlichte Almeida diese Woche Jev, ein Transformer-basiertes Modell, das ausdrücklich kein großes Sprachmodell (LLM) ist. Es gibt keinen Text aus. Stattdessen erzeugt es kalibrierte Wahrscheinlichkeitswerte — was das Unternehmen "kalibrierte Entscheidungen" nennt. Benutzer definieren die Ausgabekategorien im Voraus, was bedeutet, dass das Modell definitionshalber nicht halluzinieren kann.
Die Ergebnisse ziehen die Aufmerksamkeit von Entwicklern auf sich. Vercel-Ingenieur Pranit Sharma berichtete, dass der Ersatz von OpenAIs ChatGPT Luna 5.6 durch Jev für einen Befehls-Sicherheitsklassifikator Ergebnisse lieferte, die 5 bis 18 Mal schneller und genauer waren. Bryo AI CTO Nikhil Mudholkar fand Jev für die E-Mail-Klassifizierung 10 bis 20 Mal günstiger als Gemini, während er dessen echte Wahrscheinlichkeitswerte als "ideal für die Automatisierung von Workflows" lobte.
Durch das vollständige Überspringen von Sprachausgaben erreicht Jev eine radikale Kostenreduktion: Ausgabe-Token sind kostenlos, und Eingabe-Token werden Milliardenweise statt Millionenweise abgerechnet. Die Nachfrage während des Launchs war so hoch, dass TypeSafe vorübergehend die Fähigkeit verlor, API-Bedienern zu dienen.
Das Modell ist nach dem 19. Jahrhundert Ökonomen William Stanley Jevons benannt, dessen Paradoxon beschreibt, wie fallende Rohstoffkosten zu gesteigertem Verbrauch führen. Almeidas These ist, dass das radikale Verbilligen von Intelligenz zu ihrer durchgängigen Bereitstellung in Softwaresystemen führen wird — "viel mehr wie das frühe Internet als die Mega-Apps, die die Leute gerade bauen."
Jev wird ausschließlich auf synthetischen Daten mit einer Technik trainiert, die Almeida "Verstärkungslernen aus kalibrierten Entscheidungen" nennt. Er beschrieb den Ansatz mit synthetischen Daten als "eine der besten Wetten, die ich je gemacht habe — besser als unser Launch, besser als RLHF."
Über die Ersetzung von LLMs bei Klassifizierungs- und Routing-Aufgaben hinaus kann Jev diese auch ergänzen — Agenten-Trace überwachen, Jailbreaks verhindern und als Modell-Router dienen, der vorhersagt, ob eine Workload ein bestimmtes Modell benötigt. Armin Ronacher, CTO von Earendil, merkte an, dass Jev zwar ein Halluzinationsrisiko an den Benutzer delegiert (der Konfidenzwerte interpretieren muss), seine niedrigen Kosten aber das Echtzeit-Modellsortieren erstmals praktisch machen.
