Vals AI sagt, alte Benchmarks h Schritt mit der Frontier nicht mehr mit. Nach einer 40-Millionen-Dollar-Series-A unter Federführung von Andreessen Horowitz verfolgt das Startup einen neuen Ansatz: KI-Systeme nicht auf Allgemeinwissen, sondern darauf testen, ob sie reale Aufgaben in Jura, Finanzen, Coding und anderen Bereichen erledigen können — ohne den Datensatz an Modellanbieter durchsickern zu lassen.
Benchmarking ist zur Branchennorm für die Validierung von KI-Fähigkeiten geworden. Zugleich ist es zunehmend ein PR-Spiel. Unternehmen haben gelernt, veraltete Benchmarks auszutricksen, die für heutige Modelle nie ausgelegt waren.
Das 2024 gegründete Vals will das ändern. Das Unternehmen holte eine Seed-Runde unter Federführung von 8VC und Bloomberg Beta und schloss zuletzt eine Series A über 40 Millionen Dollar mit Andreessen Horowitz als Lead-Investor. Der Umsatz ist im Vergleich zum Vorjahr bereits um das Achtfache gestiegen, und die Belegschaft hat sich von 8 auf 25 Personen verdreifacht.
Die Kernaussage ist einfach: Hören Sie auf, abstrakte Intelligenz zu messen, und fangen Sie an zu prüfen, ob ein Modell innerhalb einer bestimmten Berufsgruppe Arbeit in menschlicher Qualität liefern kann.
Anstatt seine Testmaterialien zu veröffentlichen — was es Modellanbietern erlauben würde, direkt gegen die Prüfung zu trainieren — hält Vals seine Evaluationssätze geheim. Das Unternehmen testet nicht nur auf positive Ergebnisse, sondern auch auf potenzielle Schäden, einschließlich Arbeiten im Bereich psychische Gesundheit, Cybersicherheit, Biowissenschaften und sogar Anwendungen der Genfer Konvention.
Unternehmen bezahlen Vals für die Test ihrer Modelle, ähnlich wie Schüler die College Board bezahlen, um die SAT abzulegen. Die Auswertungen werden zunehmend auch zu Beschaffungswerkzeugen für Organisationen, die entscheiden, welche Modelle sie einsetzen.
Krishnan erwartet, dass der Markt für KI-Bewertungen stark wachsen wird, sobald KI-Unternehmen an die Börse gehen und KI-Modelle in wichtige wirtschaftliche Infrastrukturen eingebettet werden.
