FP8'in bir yapay zekâ hızlandırıcısının matris verimini ikiye katlaması beklenir. Katlıyor da — ve AMD'nin Instinct MI355X'inde bu katlanma sıklıkla kullanıcıya ulaşmıyor, çünkü attention baştan sona bir matris problemi değil.

Zyphra'nın yeni ZYFA kütüphanesi bu açığın dikkatli bir muhasebesi. ZYFA — Zyphra FlashAttention on AMD — CDNA4 (gfx950), ROCm 7.2.3 ve PyTorch 2.12 için Apache 2.0 lisansıyla açılan FP8 (e4m3) ve BF16 prefill çekirdekleri; `flash_attn_func` arayüzüne doğrudan geçiş sağlıyor.

Tıkanmanın aritmetiği

Attention'ın iki matris çarpımı — QKᵀ ve PV — arasında bir softmax oturuyor. FP8 matrislerin hızını ikiye katlıyor. Softmax ise vektör biriminde çalışıyor ve hassasiyeti umursamıyor; her iki durumda da aynı maliyette.

128 anahtara karşı 32 sorguluk bir blok için matris işi 1.024 çevrim sürüyor. Tam FP8 softmax ise 896 vektör çevrimi alıyor. Yani matris birimlerinin meşgul kalması için neredeyse kusursuz biçimde örtüşmeleri gerekiyor — ve MI355X matris komutu tamamlanmasını donanımda izlemiyor, dolayısıyla örtüşmeyi komut sırasının kendisi yaratmak zorunda. Zyphra'nın AMD'nin kendi AITER kütüphanesinden aldığı thread izlerinde matris hattı çevrimlerin yüzde 31,7'sinde boş kaldı.

Üstel yerine tek bir çarp-topla

İşin çoğunu yapan numara bir aritmetik gözlem. Bir e4m3 bit desenini tamsayı olarak okuduğunuzda, alttaki değer her ikiye katlandığında 8 artıyor. Yani 2^x'in kodu kabaca 8x artı bir sabit — bu da bir olasılığın tek bir çarp-topla ve tek bir tamsayı dönüşümüyle yazılabileceği anlamına geliyor.

Zyphra buna Lean P diyor ve blok başına softmax vektör çevrimlerini 896'dan 384'e indiriyor. Her SIMD'nin matris komutu verme ile olasılık hesaplama arasında gidip geldiği iki dalgalı ping-pong çizelgesiyle birleşince matris hattı kararlı durumda yüzde 60 doluluktan yüzde 86'ya çıkıyor. Üçüncü değişiklik — her 64 anahtarlık olasılık bloğunun yuvarlamadan önce bir ikinin kuvvetiyle ölçeklenmesi, ardından yuvarlanmış değerlerin toplamına tek bir ek matris komutuyla bölünmesi — daha ucuz softmax altında doğruluğun çökmesini engelliyor.

Gerçekte ne veriyor

16K token'da yakalanmış gerçek aktivasyonlar ve sürdürülen saat hızlarında FP8 çekirdekleri AITER'a göre Mistral-7B'de 1,16 kat, Qwen3-8B'de 1,17 kat, DeepSeek-V2-Lite'ta 1,76 kat hızlı. 32K'da sentetik Gauss kıyaslamalarında 128 kafa boyutlu çekirdek 2.672 TFLOP/s'ye ulaşıyor; AITER 1.944 — yani FP8 veri sayfası zirvesinin yüzde 53'ü, AITER'ın yüzde 39'una karşı. MLA şeklinde 2.464'e 1.237.

Doğruluk da iyileşiyor ve benimsenmeyi belirleyecek kısım bu. 128 kafa boyutunda ZYFA'nın FP8 hatası AITER'ınkinden yüzde 62–78 daha düşük. fp64 referansına karşı hata Mistral-7B'de AITER'ın 0,22 katı, Qwen3-8B'de 0,38 katı; tam model KL sapması 5,9×10⁻³ yerine 3,4×10⁻³. Çıktılar 7.200 çalıştırma boyunca bit düzeyinde aynı kaldı.

Dürüst çekince — ve iyi bir çekince

Gerçek model kazanımları en iyi durum kıyaslama rakamından küçük ve Zyphra bunu saklamak yerine açıklıyor. MI355X saat hızı kaç operand bitinin döndüğüne bağlı; AITER daha çok küçük olasılığın sıfıra veya subnormal'e dönüşmesine izin veriyor, bunlar daha az bit döndürüp saati yüksek tutuyor. Mistral-7B katmanında ZYFA 1.628 MHz'de çalışırken AITER 2.108 MHz'de — ve ZYFA yine de daha erken bitiriyor. Ekibin önerisi: gerçek aktivasyonlarda ve sürdürülen saatlerde kıyaslama yapın. Bu tavsiye AMD'nin çok ötesinde geçerli.

Sınırları açıkça söylemek gerekiyor: yalnızca nedensel prefill ileri geçişi. Decode yok, sayfalı KV önbelleği yok, sadece MI355X, ROCm 7.2.3. AMD'nin yazılım hikâyesi, hızlandırıcılarına yöneltilen sürekli şikâyet oldu. Böyle bir hikâye işte böyle düzelir — her seferinde bir çekirdek.