27B Parametreli Bir Model Artik Telefona Sigabiliyor
Caltech arastirmacilari tarafindan kurulan ve Profesor Babak Hassibi tarafindan yonetilen PrismML, Persembe gunu Bonsai 2 27B'yi yayimladi — Alibaba'nin yaygin olarak kullanilan Qwen3.8 27B modelinin sikistirilmis bir versiyonu. Model yaklasik 54 GB'dan yalnizca 5,9 GB'a indirildi.
Temel yenilik uclu agirlik sikistirmasidir. Geleneksel modeller her agirligi 16 bit depolarken, PrismML her birini ucer degerden birine indiriyor: +1, -1 veya 0. Bu 9-10 kat bellek azaltmasi, minimum benchmark sadakati ile devasa tasimabililik kazanimlarini takas ediyor.
Zaten Trafik Var
Mart'ta yayimlanan orijinal Bonsai, benchmark'larin %95'ini eslestirdi ve 11 milyondan fazla kez indirildi. PrismML'in daha kucuk modelleri ise 2,6 milyon kez daha indirildi. Sirket, Khosla Ventures, Cerberus Capital ve Caltech'in katilimiyla 22,25 milyon dolarlik tohum yatirimi aldi.
Daha Buyuk Oyun
Hassibi, bir kac ay icinde cikmasi beklenen sonraki surumlerin birkac yuz milyar parametre araligindaki modelleri hedefledigini soyledi. Model buyudukce, zeka kaybetmeden sikistirma icin daha fazla alan olur.
Danisman Ion Stoica, anlamini tuketici perspektifinden cerceveliyor: Parmaklarinizin ucunda zekaya sahip olacaksiniz ve ucretsiz olacak, cunku zaten satin aliginiz calisacak. Ayrica ozel olacak, cunku buluta hicbir sey gondermeniz gerekmeyecek.
Ne Anlama Geliyor
Eger sikistirma kalitesi Hassibi'nin ongordugu gibi model buyukluguyle birlikte olceklenirse, yapay zeka cikarim ekonomileri koklu bir sekilde degisir. Bulut GPU maliyetleri bir cok kullanim durumunda istege bagli hale gelir.
