Cactus Compute, tek bir 16,9 megabaytlık dosyaya sığan, bağımlılık olmadan işlemcide çalışan ve yedi dili kapsayan bir konuşma tanıma modeli olan Whistle'ı yayımladı: İngilizce, Almanca, Fransızca, İspanyolca, İtalyanca, Hollandaca ve Lehçe. Model 2 Ekim'de yayımlandı ve şu sıralar Hacker News'te yükseliyor.
Manşet rakamlar şirketin kendi ölçümlerine dayanıyor ve Apple M4 Pro işlemcide alınmış. On saniyelik seste Whistle ilk çıktı token'ına 11,1 milisaniyede ulaşıyor; Whisper base 73,2 ms'de. Saniyede yaklaşık 1.319 token çözüyor; Whisper base ise 266 — hem de 8,6 kat daha küçük bir dosyadan: 145,3 MB. Kelime hata oranında şirket Whistle'ın LibriSpeech test-clean ve test-other, SPGISpeech, Earnings-22 ve FLEURS ortalamasında önde olduğunu; Whisper base'in ise TED-LIUM, AMI ve MLS ortalamasında önde kaldığını söylüyor. Bir modelin o test için hiç yayımlanmış sonucu yoksa, karşılaştırma doldurulmak yerine boş bırakılmış.
Cihazlar açısından üç yetenek önemli. Whistle 16 kHz mono sesin 30 saniyeye kadarını tek geçişte yazıya döküyor ve dili kendisi algılıyor; kelime düzeyinde zaman damgaları üretiyor; ve transkript çözmeden, kodlayıcının konuşma gömlemesini 80 ms'lik kare başına bir satır olarak döndürebiliyor.
En stratejik ayrıntı mimaride. Whistle, Cactus'un fonksiyon çağırma modeli Needle ile aynı C++ motoruna yükleniyor; böylece tek bir küçük ikili dosya bir kaydı yazıya döküp hemen araç çağrılarına çevirebiliyor. Giyilebilir cihazlar, robotlar ve akıllı ev donanımı için yerel sesli kontrolün arkasındaki desen tam olarak bu. Motor, macOS, Linux, Android, iOS ve watchOS'tan ARM üzerinde Windows'a, RISC-V, MIPS, tarayıcı ve bir WASI bileşenine kadar 17 hedef için önceden derlenmiş olarak geliyor.
Bunlar üreticinin kendi ölçümleri; dolayısıyla olağan uyarı geçerli: gerçek sınav bağımsız tekrarlanabilirlik. Ama dikkat çeken kısım gidişatın yönü. Sıradan bir işlemcide çalışan, 20 megabaytın altında ve bağımlılıksız konuşma tanıma, sesi buluta gönderilen bir aboneliğe değil, mikrodenetleyici sınıfı bir ayak izine sığdırılabilecek bir özelliğe dönüştürüyor.
