Lokale KI hat ein Frischeproblem. Open-Weight-Modelle, die man auf dem eigenen Rechner betreibt, sind privat und frei von Kosten pro Token – ihr Wissen aber ist auf den Moment eingefroren, in dem die Trainingsdaten erhoben wurden. Fragt man sie nach den Nachrichten dieser Woche, kommt überzeugender Unsinn heraus, weil das Modell nicht wissen kann, dass seine Antwort veraltet ist. Die aktuelle heise+-Anleitung von heise online widmet sich der naheliegenden Lösung: dem Modell einen Weg zu geben, Dinge nachzuschlagen.
Das Rezept heißt Retrieval Augmented Generation, kurz RAG, hier angewandt auf Live-Webtreffer statt auf einen festen Dokumentbestand. In der Praxis bedeutet das, eine lokale Laufzeit wie Ollama oder LM Studio mit einem Suchwerkzeug zu verbinden, das Modell Anfragen stellen zu lassen und die gefundenen Seiten zusammen mit der Frage in das Kontextfenster zurückzugeben – am besten mit der Anweisung, Quellen zu nennen und zu sagen, wenn sie sich widersprechen. Fortgeschrittenere Setups lassen das Modell in einer Schleife mehrere Suchen ausführen und die Anfrage verfeinern, bevor es antwortet – dasselbe Muster, das Cloud-Assistenten seit ihrer Webanbindung nutzen.
Interessant ist der Zielkonflikt. Sobald die eigene Frage an eine kommerzielle Such-API geht, verliert das Datenschutzargument für lokales Rechnen deutlich an Gewicht. Deshalb kombiniert der Do-it-yourself-Weg üblicherweise ein lokales Modell mit selbst gehosteter Suchinfrastruktur – einer Metasuche wie SearXNG, die öffentliche Suchmaschinen ohne persönliches Profil abfragt, oder einem eigenen Index – und deshalb sind die Antworten nur so gut wie die Seiten, die der Suchschritt liefert. Retrieval behebt Veraltung, nicht schlechte Quellen.
Praktisch ist das Setup heute auf einem einzelnen Desktop oder einem übrig gebliebenen GPU-Server machbar: ein Open-Weight-Modell mit verlässlichem Tool-Calling, ein kleines Embedding-Modell für das Ranking und ein Such-Backend. Die Lehre geht über die Anleitung hinaus: Zitate sind der Abnahmetest. Ein geerdeter lokaler Assistent, der seine Quellen nennt und Unwissen zugibt, ist nützlicher als einer, der sich einer Welt sicher ist, die er nie gesehen hat.
