NVIDIA'nın açık kaynak Model Optimizer kütüphanesi artık uçtan uca bir W4A4 NVFP4 tarifi belgeliyor: hem ağırlıkların hem de aktivasyonların 4 bitlik eğitim sonrası kuantizasyonu, nicemleme farkındalıklı damıtma (QAD) ile birlikte, Qwen3.6-35B-A3B üzerinde gösterilmiş. Sürüm notlarında verilen sonuç: BF16'ya kıyasla vLLM'de 1,30 kata kadar aktarım hızı ve 3,1 kat daha küçük kontrol noktaları; agresif nicemlemenin götürdüğü doğruluğun büyük bölümü geri kazanılarak.
Daha ilginç olan kısım hedefin kendisi. 4 bitlik ağırlıklar bir süredir standart; zor adım 4 bitlik aktivasyonlardı. Aktivasyonlar ağırlıklardan daha fazla değişkenlik gösterir ve aykırı değerlere duyarlıdır; bu yüzden birçok üretim tarifi W4A16 veya W8A8'de durur. NVFP4, yerel FP4 desteğine sahip Blackwell donanımında nicemlemeyi pratik kılan blok ölçeklendirme ekliyor.
QAD, doğruluğu geri getiren mekanizma: Nicemlenmiş bir model yalnızca bir kez kalibre edilmekle kalmıyor, özgün davranışa karşı eğitime devam edilerek agresif nicemlemenin soktuğu hatalar düzeltiliyor. NVIDIA, haziran ayında aynı kütüphaneyle Nemotron 3 Ultra'yı (550B) NVFP4'e nicemlediğini, kod çözme ağırlıklı çıkarımda 754B'lik bir FP4 modele kıyasla 5,9 kata kadar yüksek hız ve BF16'ya denk doğruluk bildirdiğini açıklamıştı. Aynı araç zincirinin diğer parçaları yerel Hessian ağırlık ölçekleri ve otomatik karma kesinlik ataması yapan AutoQuantize.
Kütüphanenin kapsamı geniş: Hugging Face, PyTorch veya ONNX girdilerini kabul ediyor; nicemleme, damıtma, budama, sinir mimarisi araması, spekülatif kod çözme ve seyreklik yöntemlerini birleştiriyor; TensorRT-LLM, TensorRT, vLLM ve SGLang için dışa aktarma yapıyor. Asıl mesele çıkarım ekonomisi: belleği kabaca dörtte üç azaltıp doğruluktan ödün vermeden aktarım hızını artıran 4 bitlik kontrol noktaları, hangi modelin hangi donanımda ekonomik biçimde servis edilebileceğini belirliyor.
Rakamları satıcı verisi olarak okumak gerekir: NVIDIA kendi kıyaslamalarını ve kendi modellerini raporluyor. Yön yine de net. 4 bitlik çıkarım varsayılan hâle geldikten sonra iş aktivasyonlara kaydı ve bunun araçları açık.
