Cerebras bu hafta, en çok aldığını söylediği sorunun teknik dökümünü yayımladı: trilyon parametreli bir model wafer ölçeğinde donanımda gerçekte nasıl çalıştırılır? Açık ağırlıklı Kimi K3 üzerinden verilen yanıt şu: modeli bir çipe değil, 59 çipe yayıyorsunuz — ve ağırlıklar bir daha hiç kımıldamayacak şekilde yerleştiriyorsunuz.
Kısıt matematik değil, bellek
Tek bir WSE-3T wafer'ı 44 GB çip üstü SRAM taşıyor. Kimi K3 yaklaşık 3 trilyon parametreye sahip; her parametre 4 bitte tutulduğunda — Hugging Face sürümünün kullandığı niceleme — yalnızca ağırlıklar yaklaşık 1,5 terabayt ediyor. Böyle bir model ne bir wafera ne de makul büyüklükte tek bir pakete sığar.
Cerebras modeli 93 katmanına ayırıyor; bu da katman başına yaklaşık 16 GB demek. Bütün yerleşim planını bu tek sayı belirliyor, çünkü 16 GB rahatça 44 GB'tan küçük. Katmanlar hiçbir zaman çipler arasında bölünmüyor: her wafer tam katmanlar taşıyor ve üstünde yer artıyor.
Artan yerin neye gideceği katman tipine bağlı; asıl iki kez okunması gereken kısım burası. Yoğun (full-attention) katmanlar, uçuştaki her isteğin her tokenı için anahtar ve değer saklamak zorunda. Bu yüzden her biri tek başına bir wafer alıyor: 16 GB ağırlık, kalan 28 GB KV-cache'e. Doğrusal dikkat (linear attention) katmanları böyle çalışmıyor; bağlam uzunluğundan bağımsız olarak istek başına küçük ve sabit boyutlu bir durum taşıyorlar. Dolayısıyla KV-cache'e hiç ihtiyaç duymuyorlar ve bir wafera iki tanesi sığıyor. Kimi K3'te 69 doğrusal, 24 yoğun katman var: doğrusal yığın için 35, yoğun katmanlar için 24, toplam 59 wafer.
Burada mimari de en az donanım kadar iş yapıyor. Ağırlıklı olarak doğrusal dikkat katmanlarından kurulu bir model, çok waflı yerleşimi bu kadar temiz kılan şey; çünkü modelin büyük bölümü artık istek durumuyla bellek için yarışmıyor.
Kablodan yalnızca aktivasyonlar geçiyor
Derleyici katmanları wafer'lara eşledikten sonra çalışma zamanı bir montaj hattına dönüşüyor. 1. wafer 1–2. katmanları çalıştırıp aktivasyonlarını 2. wafer'a veriyor, o da 3–4. katmanları çalıştırıyor ve son aşama token üretene kadar bu böyle sürüyor. Sıçramalar RDMA over Ethernet üzerinden, her biri yaklaşık 2 mikrosaniye. Ağırlıklar kondukları yerde kalıyor; taşınan tek şey ara sonuçlar.
Akla gelen ilk itiraz — 59 aşamalı bir hatta her wafer sırasını beklerken boş durmuyor mu, yani etkin yığın boyutu bir mi? — Cerebras'ın yazıda en çok yer ayırdığı itiraz. Hat farklı isteklerle dolu tutuluyor: 3. aşama A isteği için bir token işlerken 2. aşama B, 1. aşama C isteği üzerinde çalışıyor. Her aşama tek istek yerine bir mikro-yığın da alabiliyor; böylece uçuştaki istek sayısı aşama sayısı çarpı mikro-yığın boyutu kadar oluyor. Küçük mikro-yığınlar gecikmeyi, büyük olanlar toplam verimi kayırıyor.
Şirketin "saniyede 1.000–2.000+ token" iddiası buradan geliyor.
Tavan gerçekte nerede
Bağlayıcı sınır hesaplama değil, eşzamanlılık. Uçuştaki her istek, her yoğun katman wafer'ında kendi KV-cache'ine ihtiyaç duyuyor; yani o 24 wafer'ın her birinde artan 28 GB, aynı anda kaç istek sunulabileceğinin üst sınırını belirliyor. Cerebras yazıda tek bir sayı vermek yerine bölme işlemini gösteriyor ve varsayımlar önemli: ortalama 256k tokenlık istek ve 8 bitlik KV-cache. Daha uzun bağlamlar ya da daha geniş bir cache eşzamanlılığı orantılı olarak küçültüyor.
İkinci sınır yapısal ve yazının tartışmasında öne çıkan en keskin nokta oldu. Bir GPU kümesi bozularak küçülür: bir düğümü kaybedersiniz, iş daha yavaş sürer ya da bir kopya trafiği üstlenir. Burada ise model rack'in kendisi. Bozuk tek bir wafer montaj hattını durduruyor ve 59 wafer'lık bir hattın bozuk wafer'a denk gelmek için 59 şansı var. Cerebras yazısında yedeklilik ya da failover konusuna girmiyor; bu bir yerleşim belgesi, kullanılabilirlik belgesi değil.
Şirket, bu tür sistemlerin nasıl karşılaştırılacağına dair bir uyarıyla bitiriyor. Eşzamanlılık ve yığın boyutu verimlilik hakkında fazla şey söylemiyor; anlamlı ölçüt, aynı çıktı hızında ölçülen megavat başına saniyede token. Böylece verim iddiaları gecikmeyle satın alınamıyor.
Neden önemli
Cerebras yıl boyunca wafer ölçeğinin kazançlı olduğu yerin eğitim değil çıkarım ekonomisi olduğunu savundu: ağustosta CS-4 rack ölçeğinde sistem, o günden beri de CEO'sunun öngörüleri. Bu yazı, o kampanyanın en az tanıtım kokan belgesi: aritmetiğin açıkça gösterildiği, hatta aritmetiğin daraldığı yerlerin de gösterildiği bir yerleşim planı. Açık ağırlıklı model sunan herkes için ayrıca bir hatırlatma: 3 trilyon parametreli bir model artık bir araştırma nesnesi değil. Bir dağıtım biçimi — ve o biçim, sıraya dizilmiş 59 çip.
