FP8 soll den Matrixtdurchsatz eines KI-Beschleunigers verdoppeln. Tut es auch – und auf AMDs Instinct MI355X kommt diese Verdopplung oft nicht beim Nutzer an, weil Attention nicht durchgängig ein Matrixproblem ist.

Zyphras neue Kernel-Bibliothek ZYFA ist eine sorgfältige Abrechnung dieser Lücke. ZYFA – Zyphra FlashAttention on AMD – ist ein Satz FP8- (e4m3) und BF16-Prefill-Kernel, Open Source unter Apache 2.0, für CDNA4 (gfx950), ROCm 7.2.3 und PyTorch 2.12, mit einer Drop-in-Schnittstelle zu `flash_attn_func`.

Die Arithmetik des Stillstands

Zwischen den beiden Matrixprodukten der Attention – QKᵀ und PV – sitzt eine Softmax. FP8 verdoppelt das Tempo der Matrizen. Die Softmax läuft auf der Vektoreinheit und interessiert sich nicht für Präzision; sie kostet in beiden Fällen gleich viel.

Für einen Block von 32 Queries gegen 128 Keys braucht die Matrizenarbeit 1.024 Zyklen. Eine exakte FP8-Softmax braucht 896 Vektorzyklen. Die Matrixeinheiten müssen also nahezu perfekt überlappt werden, um ausgelastet zu bleiben – und die MI355X verfolgt den Abschluss von Matrixinstruktionen nicht in Hardware, die Überlappung muss also aus der Instruktionsreihenfolge entstehen. In Zyphras Thread-Traces von AMDs eigener AITER-Bibliothek stand die Matrix-Pipeline 31,7 Prozent der Zyklen still.

Ein Multiply-Add statt einer Exponentialfunktion

Der Trick, der die meiste Arbeit leistet, ist eine arithmetische Beobachtung. Liest man ein e4m3-Bitmuster als Integer, wächst es um 8, so oft sich der zugrunde liegende Wert verdoppelt. Der Code für 2^x ist also ungefähr 8x plus eine Konstante – eine Wahrscheinlichkeit lässt sich mit einem Multiply-Add und einer Integer-Konvertierung schreiben.

Zyphra nennt das Lean P; es senkt die Softmax-Vektorzyklen pro Block von 896 auf 384. Zusammen mit einem Zwei-Wellen-Ping-Pong-Schedule, bei dem jede SIMD abwechselnd Matrixinstruktionen ausgibt und Wahrscheinlichkeiten berechnet, geht die Matrix-Pipeline im eingeschwungenen Zustand von 60 auf 86 Prozent Auslastung. Eine dritte Änderung – jeder 64-Key-Block wird vor dem Runden mit einer Zweierpotenz skaliert und anschließend durch die Summe der gerundeten Werte geteilt, mit einer zusätzlichen Matrixinstruktion – verhindert, dass die Genauigkeit unter der billigeren Softmax zusammenbricht.

Was dabei herauskommt

Auf aufgezeichneten echten Aktivierungen bei 16K Tokens und gehaltenen Takten laufen die FP8-Kernel 1,16-mal schneller als AITER bei Mistral-7B, 1,17-mal bei Qwen3-8B und 1,76-mal bei DeepSeek-V2-Lite. Auf synthetischen Gauß-Benchmarks bei 32K erreicht der Kernel mit Head-Dimension 128 2.672 TFLOP/s gegen AITERs 1.944 – 53 Prozent des FP8-Datenblatt-Peaks gegenüber 39 Prozent. Bei der MLA-Form sind es 2.464 gegen 1.237.

Auch die Genauigkeit verbessert sich, und das wird über die Adoption entscheiden. Bei Head-Dimension 128 liegt ZYFAs FP8-Fehler 62 bis 78 Prozent unter dem von AITER. Gegen eine fp64-Referenz beträgt der Fehler das 0,22-fache von AITER bei Mistral-7B und das 0,38-fache bei Qwen3-8B; die KL-Divergenz des Gesamtmodells liegt bei 3,4×10⁻³ statt 5,9×10⁻³. Über 7.200 Läufe waren die Ausgaben bitweise identisch.

Der ehrliche Vorbehalt – und er ist ein guter

Die Gewinne auf echten Modellen sind kleiner als die beste Benchmark-Zahl, und Zyphra erklärt das, statt es zu verstecken. Der Takt der MI355X hängt davon ab, wie viele Operandenbits flippen; AITER lässt mehr kleine Wahrscheinlichkeiten zu Nullen oder Subnormalen werden, die weniger Bits flippen und den Takt höher laufen lassen. Auf der Mistral-7B-Schicht läuft ZYFA mit 1.628 MHz gegen AITERs 2.108 MHz – und ist trotzdem früher fertig. Die Empfehlung des Teams: auf echten Aktivierungen bei gehaltenen Takten benchmarken. Dieser Rat gilt weit über AMD hinaus.

Die Grenzen sollte man klar benennen: nur kausaler Prefill-Forward. Kein Decode, kein Paged-KV-Cache, nur MI355X, ROCm 7.2.3. AMDs Software-Story ist die wiederkehrende Beschwerde gegen seine Beschleuniger. So wird sie behoben – ein Kernel nach dem anderen.