Tek bir geliştiricinin çıkarım (inference) motoru yeniden GitHub Trending listesinde yükseliyor ve dayandığı fikir bilinçli olarak absürt: 744 milyar parametreli bir ön cephe modelini, elinizdeki dizüstü bilgisayarda, GPU olmadan ve çalışma anında Python kullanmadan çalıştırmak.
GLM-5.2 bir uzman karışımı (MoE) modeli. Her token, 744 milyar parametresinin yalnızca yaklaşık 40 milyarını — yani ~%5'ini — etkinleştiriyor ve bunun sadece ~11GB'ı tokendan tokene değişiyor. Tek bir ~1.300 satırlık dosyada saf C ile yazılan Colibri, tam olarak bu seyreklikten yararlanıyor. Statik "yoğun" kısmı — dikkat katmanları, paylaşılan uzmanlar ve gömlemler (~17 milyar parametre, int4'te ~9,9GB) — RAM'de tutuyor; 21.504 yönlendirilmiş uzman ise (int4'te ~370GB, her biri ~19MB, 256'şar uzmanlı 75 MoE katmanı artı bir MTP başlığına yayılmış) diskte kalıyor ve katman başına LRU önbelleği ile işletim sisteminin sayfa önbelleği bedava bir L2 katmanı olarak kullanılarak talep üzerine akıtılıyor.
Bedeli hız ve geliştirici bunu açıkça söylüyor: ilk raporlar saniyede yaklaşık 0,05–0,1 token hızına işaret ediyor — bir gösteri olarak işe yarar, etkileşimli kodlama için kullanışsız. Daha fazla RAM'e sahip NVMe disklerde topluluk ölçümleri daha iyi sonuç veriyor, ancak yine de bulut API'lerinin çok altında. README ayrıca SSD aşınması konusunda uyarıyor; yoğun yazmalar KV önbelleğiyle sınırlı, okumaların çoğu uzman okuması ve Apple Silicon gibi birleşik bellekli makineler KV önbelleğini tamamen RAM'de tutabiliyor.
Proje Apache-2.0 lisanslı, yaklaşık 28.600 yıldızı var ve Hacker News'te 730'dan fazla puan topladı — en çok beğenilen yorum kısaca "Bu, hacker ruhudur" oldu. Colibri'yi opencode gibi kodlama ajanlarına bağlama çalışmaları sürüyor ve antirez'in ds4'ü gibi benzer projeler aynı disk akıtma fikrini araştırıyor. Üretim ya da maliyet optimizasyonu için pek anlamlı değil; ama MoE seyrekleşmesinin ön cephe ölçeğindeki modelleri sıradan donanıma taşıyabileceğinin sistem düzeyinde bir kanıtı olarak, bir öğleden sonrada anlaşılabilecek ender ve okunabilir bir eser.
