Yerel yapay zekanın bir tazelik sorunu var. Kendi makinenizde çalıştırdığınız açık ağırlıklı modeller gizlidir ve token başına ücret ödemezsiniz; ancak bilgileri, eğitim verisinin toplandığı ana sabitlenmiştir. Onlara bu haftanın haberlerini sorduğunuzda kendinden emin bir saçmalık alırsınız, çünkü model cevabının eskimiş olduğunu bilemez. heise online'ın son heise+ rehberi bariz çözümü ele alıyor: modele bir şeyleri araştırma imkânı vermek.
Tarif, retrieval augmented generation yani RAG'in sabit bir belge kümesi yerine canlı web sonuçlarına uygulanmasıdır. Pratikte bu, Ollama veya LM Studio gibi yerel bir çalışma zamanını bir arama aracına bağlamak, modelin sorgu üretmesine izin vermek ve bulunan sayfaları kullanıcının sorusuyla birlikte bağlam penceresine geri beslemek anlamına gelir — ideali, kullanılan kaynakları belirtmesi ve kaynaklar çeliştiğinde bunu söylemesi yönünde bir talimatla. Daha gelişmiş kurulumlarda model bir döngü içinde birkaç arama yapar, sorgusunu iyileştirir ve ancak ondan sonra yanıtlar; bulut asistanlarının web erişimi kazandığından bu yana kullandığı örüntünün aynısı.
Asıl ilginç olan, buradaki ödünleşim. Sorunuz ticari bir arama API'sine gittiği anda, modeli yerelde çalıştırmanın gizlilik gerekçesi ciddi biçimde zayıflar. Bu yüzden kendin-yap yolunda genellikle yerel bir model, kendi barındırdığınız arama altyapısıyla eşleştirilir — kişisel profil olmadan genel arama motorlarını sorgulayan SearXNG gibi bir meta arama motoru ya da özel bir indeks — ve bu yüzden alınan cevaplar ancak arama adımının getirdiği sayfalar kadar iyidir. Retrieval eskimeyi düzeltir; kötü kaynağı düzeltmez.
Pratikte kurulum artık tek bir masaüstü ya da köşede duran bir GPU sunucusuyla mümkün: güvenilir araç çağırma yeteneği olan açık ağırlıklı bir model, sıralama için küçük bir gömme modeli ve bir arama arka ucu. Ders rehberin ötesine geçiyor: kabul testi olarak atıfları alın. Kaynaklarını söyleyen ve bilmediğini kabul eden temellendirilmiş bir yerel asistan, hiç görmediği bir dünya hakkında kesin konuşan bir asistanan daha faydalıdır.
