Bir yapay zekâ kodlama asistanını ucuzlatmanın yolları arasında "ona hırla" çoğu mühendisin tahmin edeceği yöntem olmazdı. Yine de bu hafta GitHub'ın trend depoları arasında yer alan Caveman'ın çıkış noktası tam olarak bu: yaklaşık 108.900 yıldız — tek günde eklenen 271'i dâhil — ve tezini bozuk İngilizceyle özetleyen bir README: "why use many token when few token do trick".
Mekanizma basit. Kendi hâline bırakıldığında bir kodlama ajanı, çıktısının büyük bir kısmını giriş cümlelerine, tekrarlara ve kibar özetlere — kodun çevresindeki bağlayıcı metne — harcıyor. Caveman modele bunları atmasını ve sıkıştırılmış, telgraf üslubunda yanıt vermesini söylüyor; kodu ve teknik iddiaları koruyarak çıktı jetonlarını yaklaşık %65 kısalttığını iddia ediyor. 2.0 sürümü daha ileri gidip konuşmanın girdi tarafını da sıkıştırdı; son haftalarda çıkan 3.0 sürümü ise tüm depoyu — motor, proxy, tarayıcı araçları, bir MCP sunucusu, bir sıkıştırma modülü ve "cavemem" bellek çekirdeği — Apache 2.0 lisansı altına aldı.
Fikir tek bir depoyu çoktan aştı. GitHub trend listeleri artık bir "bağlam ekonomisi" araç türünü taşıyor: istemleri küçülten proxy'ler, ajanın kodu yeniden okumasını engelleyen önceden indekslenmiş bilgi grafikleri ve oturum çıktısını kırpan beceriler. Bu haftanın en hızlı yükselen depolarının birçoğu tam olarak bu vaat üzerine kuruluydu.
Şüphecilik de aynı ölçüde görünür. Yaygın bir eleştiri, çıktı jetonlarının tipik bir oturumun maliyetinde küçük bir pay tuttuğunu — bazı tahminler görünür düzyazıyı %1 ile %10 arasına koyuyor — dolayısıyla metnin dramatik biçimde kısalmasına karşın faturanın neredeyse hiç değişmeyebileceğini söylüyor. Çok paylaşılan bir yazının başlığı da açıktı: "Caveman %65 daha az jeton vaat ediyor — faturam kımıldamadı."
İlginç olan tam da bu gerilim. Caveman, model davranışını reklam edildiği gibi değiştirdiği dar anlamda işe yarıyor; geliştiricinin gerçekte ödediği tutarı düşürüp düşürmediği ise jetonların baştan nereye gittiğine bağlı. Ajanlar daha otonom, döngüleri daha uzun hâle geldikçe bu döngüyü kısaltan araçlara iştah azalmıyor.
