Hugging Face, Transformers kütüphanesine birinci sınıf bir "karar modeli" arayüzü ekledi ve kurumsal yapay zekânın büyük bölümünün metin üretmesi gerekmediğine oynuyor. Bir dil modelinden JSON üretmesini istemek yerine, karar modeli bir durum ve önceden tanımlı seçenekler kümesi alıp bu seçenekler üzerinde bir olasılık dağılımı döndürüyor — hiç token üretmeden.

Yeni parçalar DecisionPipeline, AutoModelForDecision ve DecisionConfig; ayrıca Hub'da bir decision-model etiketi ve hem Transformers hem llama.cpp'de çalışan bir /v1/systemone uç noktası. Arayüz iki girdi üzerine kurulu — bir "state" ve bir dizi "soru" — ve üç ilkel üzerinden işliyor: choice (birkaç yanıttan birini seç), score (bir şeyi sıralı bir ölçeğe yerleştir ve beklenen değeri döndür) ve noul (Bernoulli tipi evet/hayır olasılığı). Choice ve score ayrıca modelin inancının ne kadar toplandığını normalleştiren bir "confidence" döndürüyor.

Şirket, yaklaşımın "LLM'den sadece JSON iste" kalıbındaki gerçek sorunları çözdüğünü savunuyor: modeller geçersiz JSON üretebilir, aralık dışı bir etiket döndürebilir ya da uygulamanın yalnızca seçenekler arasında seçim yapması gerektiğinde tam bir yanıt üretmek için hesaplama harcayabilir. Karar modelleri Trainer API ile ya da şimdilik elle eğitilebiliyor; birinci sınıf eğitim desteği için açık bir TRL çekiş isteği var. İlginç bir ayrıntı: uyumlu otoregresif modellerle, hiçbir şey eğitmeden arayüzü deneyebilirsiniz; çünkü ardışık düzen yanıt logitlerini toplu bir ileri geçişte puanlıyor.

Hugging Face açıkça tek bir mimari şart koşmuyor. decision-model etiketi şimdiden ModernBERT gibi kodlayıcı tabanlı modellerden daha büyük üretici omurgalara uzanıyor; TypeSafe AI'ın Jev serisi, GLiDE, H2O-Lightning, Kakao'nun v-decide'ı ve Drex DLM gibi örnekler var. Topluluk, TypeSafe'in daha önceki "System One" adlandırması yerine "karar modeli" üzerinde uzlaştı — bir biliş kuramına değil, modelin hesaplama rolüne işaret eden bir ad.