Die Inferenz-Engine eines Einzelentwicklers steigt erneut auf GitHub Trending – und ihre Prämisse ist bewusst absurd: ein Frontier-Modell mit 744 Milliarden Parametern auf dem Laptop laufen zu lassen, den man bereits besitzt, ohne GPU und ohne Python zur Laufzeit.
GLM-5.2 ist ein Mixture-of-Experts-(MoE-)Modell. Pro Token werden nur etwa 40B seiner 744B Parameter aktiviert – rund 5 % – und davon ändern sich nur ~11 GB von Token zu Token. Colibri, in reinem C in einer einzigen Datei mit ~1.300 Zeilen geschrieben, nutzt genau diese Sparsity. Der statische „dense“ Teil – Attention-Layer, geteilte Experten und Embeddings (~17B Parameter, ~9,9 GB bei int4) – bleibt im RAM; die 21.504 gerouteten Experten (~370 GB bei int4, je ~19 MB, verteilt auf 75 MoE-Layer mit je 256 Experten plus einen MTP-Head) liegen auf der Festplatte und werden bei Bedarf gestreamt – mit einem Per-Layer-LRU-Cache und dem Page-Cache des Betriebssystems als kostenloser L2-Ebene.
Der Preis ist die Geschwindigkeit, und der Autor ist ehrlich: Erste Berichte nennen etwa 0,05–0,1 Token pro Sekunde – brauchbar als Demonstration, unbrauchbar für interaktives Coden. Community-Benchmarks auf NVMe-Laufwerken mit mehr RAM fallen besser aus, liegen aber weiterhin weit unter Cloud-APIs. Die README warnt zudem vor SSD-Verschleiß; starke Schreiblast beschränkt sich auf den KV-Cache, während Experten-Lesevorgänge dominieren, und Maschinen mit Unified Memory wie Apple Silicon können den KV-Cache komplett im RAM halten.
Das Projekt steht unter Apache-2.0, hat rund 28.600 Stars und erreichte auf Hacker News über 730 Punkte – der Top-Kommentar lautete schlicht „This is the hacker spirit“. Es wird daran gearbeitet, Colibri in Coding-Agenten wie opencode einzubinden; Projekte wie antirez' ds4 verfolgen dieselbe Disk-Streaming-Idee. Für Produktion oder Kostenoptimierung ist es kaum sinnvoll – aber als Systemnachweis, dass MoE-Sparsity Frontier-Modelle auf Alltagshardware bringen kann, ist es ein seltenes, lesbares Artefakt: eine ganze Inferenz-Engine, die man an einem Nachmittag versteht.
