Canonical hat Inference Manager veröffentlicht – ein Werkzeug, das lokale KI-Inferenz auf Ubuntu an einer Stelle bündelt. Es kombiniert ein Kommandozeilen-Interface (`inference`) mit einem Hintergrunddienst, der als zentraler Einstiegspunkt für lokale Inferenz dient: Er listet verfügbare Modelle auf und leitet Inferenzanfragen weiter. Der Proxy läuft standardmäßig unter http://localhost:8400/v1, sodass jede Anwendung, die die OpenAI-API spricht, ihn als Modellanbieter nutzen kann.
Das Werkzeug baut auf einer bestehenden Bewegung in Ubuntus eigenem Paketsystem auf. 'Inference Snaps' machen ein lokales Modell zu einem einzigen Befehl: `sudo snap install gemma4` lädt Modell, Gewichte und eine passende Laufzeit und stellt eine OpenAI-kompatible API auf localhost bereit. Auf diesem Weg verfügbar sind unter anderem Gemma 4, Qwen VL und Nvidias Nemotron 3 Nano – jedes als eigenes, nach dem Modell benanntes Snap. Bei der Installation bewertet das Snap die Hardware des Rechners und wählt automatisch eine Engine, etwa OpenVINO für Intel-CPUs oder einen generischen llama.cpp-Build. Canonical dokumentiert dies als einfachsten Weg zu optimierten lokalen Modellen unter Ubuntu 26.04.
Canonical positioniert Inference Manager für den Fall, dass ein einzelnes Modell nicht reicht: 'Inference Snaps haben das Ausführen optimierter KI-Modelle auf Ubuntu bereits einfach gemacht', so das Unternehmen, und beschreibt das neue Werkzeug als 'einen Ort, um Ihre KI-Inferenz auf Ubuntu zu verwalten – ob Sie Modelle lokal ausführen oder sich mit Cloud-Anbietern verbinden'. Das ist die Rolle einer Steuerungsebene: Statt jeden Chat-Client, Editor oder Coding-Agenten auf einen anderen Port und Pfad zu richten, können alle mit einem einzigen lokalen Endpunkt sprechen.
Unabhängige Tests deuten darauf hin, dass der Ansatz vielversprechend, aber noch rau ist. Ein Praxistest ergab, dass die Engine-Auswahl für Gemma 4 auf einer Intel-CPU die langsamere Laufzeit wählte (OpenVINO mit 6,9 Token pro Sekunde gegenüber llama.cpp mit 7,4), dass der OpenAI-Endpunkt eines Snaps je nach aktiver Engine zwischen /v1 und /v3 wechselt und dass ein Modellwechsel alte Gewichte auf der Platte zurücklässt – ein Snap hielt 15 GB für ein 2B-Modell, das 3,4 GB benötigt. Positiv: Ein 7B-Reasoning-Modell lief über ein Inference Snap rund 28 Prozent schneller als dasselbe Modell unter Ollama auf identischer Hardware.
Inference Manager wird von Ubuntu als verifiziertes Snap unter der Lizenz GPL-3.0-only veröffentlicht, der Quellcode liegt unter github.com/canonical/inference. Es ist derzeit nur im instabilen Beta-Kanal verfügbar; Canonical warnt, es 'könnte oft brechen und sich ändern'.




