Canonical, Ubuntu'daki yerel yapay zekâ çıkarımını tek bir yerde toplayan Inference Manager'ı yayımladı. Araç, bir komut satırı arayüzünü (`inference`) yerel çıkarım için merkezî bir giriş noktası işlevi gören bir arka plan servisiyle birleştiriyor: servis mevcut modelleri listeliyor ve çıkarım isteklerini yönlendiriyor. Proxy varsayılan olarak http://localhost:8400/v1 adresinde sunuluyor; böylece OpenAI API'siyle konuşan her uygulama bunu model sağlayıcısı olarak kullanabiliyor.

Araç, Ubuntu'nun kendi paketleme sistemindeki mevcut bir hamlenin üzerine kuruluyor. 'Inference Snap'leri yerel bir modeli tek komuta indiriyor: `sudo snap install gemma4` modeli, ağırlıklarını ve uygun bir çalışma zamanını indirip localhost üzerinde OpenAI uyumlu bir API sunuyor. Bu yolla erişilebilen modeller arasında Gemma 4, Qwen VL ve Nvidia'nın Nemotron 3 Nano'su var; her biri model adını taşıyan kendi snap'i olarak geliyor. Kurulum sırasında snap makinenin donanımını puanlıyor ve bir motoru otomatik seçiyor — örneğin Intel CPU'lar için OpenVINO ya da genel bir llama.cpp sürümü — ve Canonical bunu Ubuntu 26.04'te optimize edilmiş yerel modellere giden en kolay yol olarak belgeliyor.

Canonical, Inference Manager'ı tek bir modelin yetmediği durumlar için konumlandırıyor. Şirket, 'Inference Snap'leri Ubuntu'da optimize edilmiş yapay zekâ modellerini çalıştırmayı zaten kolaylaştırdı' diyor ve yeni aracı 'ister modelleri yerel çalıştırın ister bulut sağlayıcılarına bağlanın, Ubuntu'da yapay zekâ çıkarımınızı yönetecek tek yer' olarak tanımlıyor. Bu çerçeve bir kontrol düzlemi anlamına geliyor: her sohbet istemcisi, editör ya da kodlama ajanı farklı bir port ve yola yönlendirilmek yerine hepsi tek bir yerel uç noktayla konuşabiliyor.

Bağımsız testler yaklaşımın umut verici ama hâlâ pürüzlü olduğunu gösteriyor. Bir uygulamalı inceleme, motor seçicisinin Intel CPU'da Gemma 4 için daha yavaş çalışma zamanını seçtiğini (OpenVINO saniyede 6,9 token'a karşı llama.cpp'nin 7,4'ü), bir snap'in OpenAI uç noktasının hangi motorun etkin olduğuna bağlı olarak /v1 ile /v3 arasında değiştiğini ve model değiştirmenin eski ağırlıkları diskte bıraktığını buldu — bir snap, 3,4 GB gerektiren bir 2B model için 15 GB tutuyordu. Olumlu tarafta, bir çıkarım snap'i üzerinden çalıştırılan 7B'lik bir akıl yürütme modeli, aynı makinede Ollama altındaki aynı modelden yaklaşık %28 daha hızlı çözümleme yaptı.

Inference Manager, Ubuntu tarafından GPL-3.0-only lisansıyla doğrulanmış bir snap olarak yayımlanıyor; kaynak kodu github.com/canonical/inference adresinde. Araç şu anda yalnızca kararsız beta kanalında ve Canonical 'sık sık bozulabileceği ve değişebileceği' uyarısını yapıyor.