Cerebras verteilt ein Modell mit 3 Billionen Parametern auf 59 Wafer – die Gewichte bewegen sich nie

Cerebras hat diese Woche eine technische Erklärung zu der Frage veröffentlicht, die dem Unternehmen zufolge am häufigsten gestellt wird: Wie betreibt man eigentlich ein Modell mit einer Billion Parametern auf Wafer-Scale-Hardware? Die Antwort, durchgerechnet am offenen Modell Kimi K3, lautet: nicht auf einem Chip, sondern auf 59 – und zwar so angeordnet, dass sich die Gewichte danach nie wieder bewegen.

Die Grenze ist der Speicher, nicht die Rechenleistung

Ein einzelner WSE-3T-Wafer trägt 44 GB On-Chip-SRAM. Kimi K3 hat rund 3 Billionen Parameter; bei 4 Bit pro Parameter – der Quantisierung, die auch die Hugging-Face-Version nutzt – sind das allein etwa 1,5 Terabyte an Gewichten. Ein Frontier-Modell passt weder auf einen Wafer noch in ein einzelnes Gehäuse.

Cerebras zerlegt das Modell in seine 93 Schichten und kommt so auf rund 16 GB pro Schicht. Diese eine Zahl bestimmt den gesamten Grundriss, denn 16 GB sind deutlich weniger als 44 GB. Schichten werden nie über Chips hinweg geteilt: Auf jedem Wafer liegen ganze Schichten, und es bleibt Platz übrig.

Wofür dieser Restplatz dient, hängt vom Schichttyp ab – und das ist der Teil, den man zweimal lesen sollte. Dichte Full-Attention-Schichten müssen Schlüssel und Werte für jedes Token jeder laufenden Anfrage speichern, bekommen also je einen Wafer für sich: 16 GB Gewichte, die verbleibenden 28 GB gehen an den KV-Cache. Linear-Attention-Schichten funktionieren anders – sie führen pro Anfrage einen kleinen Zustand fester Größe, unabhängig von der Kontextlänge – und brauchen deshalb gar keinen KV-Cache. Zwei von ihnen passen auf einen Wafer. Kimi K3 hat 69 lineare und 24 dichte Schichten, das ergibt 35 Wafer für den linearen Teil plus 24 für die dichten: insgesamt 59.

Die Architektur leistet hier ebenso viel wie die Hardware. Ein Modell, das überwiegend aus Linear-Attention-Schichten besteht, lässt sich überhaupt erst so sauber verteilen, weil der größte Teil des Modells nicht mehr mit dem Anfragezustand um Speicher konkurriert.

Nur Aktivierungen laufen über die Leitung

Hat der Compiler die Schichten auf die Wafer abgebildet, wird die Laufzeit zur Fließbandfertigung. Wafer 1 rechnet die Schichten 1–2 und übergibt seine Aktivierungen an Wafer 2, der die Schichten 3–4 rechnet, und so weiter, bis die letzte Stufe ein Token ausgibt. Die Sprünge laufen über RDMA over Ethernet und dauern jeweils etwa 2 Mikrosekunden. Die Gewichte bleiben, wo sie platziert wurden; übertragen werden nur Zwischenergebnisse.

Der naheliegende Einwand – steht bei einer Pipeline mit 59 Stufen nicht jeder Wafer untätig da, effektiv also Batch-Größe eins? – bekommt den meisten Raum in dem Beitrag. Die Pipeline bleibt mit verschiedenen Anfragen gefüllt: Während Stufe 3 ein Token für Anfrage A bearbeitet, arbeitet Stufe 2 an Anfrage B und Stufe 1 an Anfrage C. Jede Stufe kann zudem einen Micro-Batch statt einer einzelnen Anfrage übernehmen, sodass die Zahl gleichzeitig laufender Anfragen mit Stufen mal Micro-Batch-Größe wächst. Kleinere Micro-Batches begünstigen die Latenz, größere den Gesamtdurchsatz.

So kommt das Unternehmen zu seiner Kernaussage von 1.000 bis über 2.000 Token pro Sekunde bei einem Modell mit mehreren Billionen Parametern.

Wo die Decke wirklich liegt

Nicht die Rechenleistung begrenzt das System, sondern die Nebenläufigkeit. Jede laufende Anfrage braucht auf jedem dichten Wafer einen eigenen KV-Cache; die 28 GB Restplatz auf jedem dieser 24 Wafer setzen damit die Obergrenze für gleichzeitige Anfragen. Cerebras rechnet die Division im Beitrag vor, statt eine einzelne Zahl zu nennen, und die Annahmen sind entscheidend: eine durchschnittliche Anfrage von 256k Token und ein 8-Bit-KV-Cache. Längere Kontexte oder ein breiterer Cache verkleinern die Nebenläufigkeit proportional.

Die zweite Grenze ist struktureller Natur und war der schärfste Punkt in der Diskussion zum Beitrag. Ein GPU-Cluster degradiert: Fällt ein Knoten aus, läuft der Job langsamer weiter, oder ein Replikat übernimmt den Verkehr. Hier ist das Modell das Rack. Ein defekter Wafer stoppt das Fließband, und eine Pipeline aus 59 Wafern hat 59 Gelegenheiten, auf einen defekten Wafer zu treffen. Auf Redundanz oder Failover geht der Beitrag nicht ein; er beschreibt einen Grundriss, keine Verfügbarkeit.

Zum Schluss warnt das Unternehmen davor, wie solche Systeme verglichen werden. Nebenläufigkeit und Batch-Größe sagen wenig über Effizienz aus; die aussagekräftige Kennzahl seien Token pro Sekunde pro Megawatt, gemessen bei gleicher Ausgabegeschwindigkeit – damit sich Durchsatz nicht mit Latenz erkaufen lässt.

Warum das zählt

Cerebras argumentiert das ganze Jahr, dass sich Wafer-Scale nicht beim Training, sondern in der Inferenzökonomie rechnet – das Rack-System CS-4 im August und die Prognosen des Firmenchefs seither. Dieser Beitrag ist das am wenigsten werbliche Dokument dieser Kampagne: ein Grundriss mit offengelegter Rechnung, einschließlich der Stellen, an denen sie knapp wird. Für alle, die offene Modelle betreiben, ist er zugleich eine Erinnerung: Ein Modell mit 3 Billionen Parametern ist kein Forschungsobjekt mehr, sondern eine Betriebsform – und diese Form sind 59 Chips in einer Reihe.