Nvidia, github.com/dsx-ai-factory/nvke adresinde NVIDIA Kubernetes Engine adlı bir proje yayımladı: kısaca NVKE. Apache 2.0 lisanslı, Go ile yazılmış ve kendi ilk satırında "çıplak metal üzerinde GPU Kubernetes için bir yönetim düzlemi" olarak tanımlanmış. Şirketin bu hafta kimsenin ürün olarak duyurmadığı en ilginç çıkışı. Aynı zamanda en dürüstü, çünkü README açıkça üretimde çalıştırmamanız gerektiğini söylüyor.
Ne yapıyor
NVKE bir Kubernetes dağıtımı değil, bir Cluster API türü de hiç değil. Kendi belgelerinin tabiriyle "Kubernetes kümeleri için kendi kendini kuran bir fabrika". Operatör yönetim düzlemini kuruyor. Bu düzlem, bir API ya da nvkectl komut satırı aracı üzerinden talep üzerine birbirinden bağımsız iş yükü kümeleri oluşturuyor; her birinin kendi kontrol düzlemi, kendi etcd'si ve kendi düğüm havuzları var. Müşteri bir kubeconfig alıp kubectl kullanıyor; yönetim düzlemini hiç görmüyor.
Bunun altında, niyeti ele veren ikinci bir katman var. Makineler NVIDIA Infra Controller — NICo — üzerinden sağlanıyor; önizleme aşamasında desteklenen tek altyapı sağlayıcısı bu. Yani kibar bir dille söylenirse: şimdilik yalnızca Nvidia'nın kendi donanımı. Düğümler, katılma kimlik bilgilerini almadan önce TPM üzerinden SPIFFE/SPIRE ile kendilerini kanıtlıyor; etcd şifrelemesi küme bazında isteğe bağlı. NVKR adlı eş proje, düğüm imajlarını ve bileşenleri sabitlenmiş girdilerden üretip imzalıyor, böylece neyin dağıtıldığı izlenebilir kalıyor. Kaynaktan derleme dokuz ikili üretiyor; aralarında agent, controller, nvkectl, management-engine, tenant-api ve operator-api var.
Denemek için altı CPU, 12 GiB boş bellek ve 100 GiB diski olan bir Linux makinesi, Docker ve sanal TPM yeterli — macOS'te Colima sanal makinesi içinde. Yani tek bir GPU sahibi olmadan simüle edilmiş bir yönetim düzlemi ve iş yükü kümesi ayağa kaldırabiliyorsunuz.
Dürüstleştiği yerler
Sınırlamalar bölümü alışılmadık ölçüde açık ve tek başına okunmaya değer. Kurulumdan sonra API kimlik doğrulaması kapalı ve API düz HTTP konuşuyor; kimlik doğrulamayı yapılandırmadan onu erişilebilir kılan operatörün elinde açık bir kumanda yüzeyi kalıyor. Yönetim kümesi kendini güncellemiyor, ölçeklemiyor, değiştirmiyor. Yönetim düzlemi için yükseltme prosedürü yok, yedekleme ve geri yükleme prosedürü yok. Tam disk şifrelemeli düğüm imajları değerlendirme içindir ve bekleyen veride gizlilik sağlamaz. API'ler sürümler arasında değişebilir.
Bu pazarlama metni değil. Bu, dürüst uyarı etiketleri taşıyan bir kurulum kılavuzu ve projenin ne kadar olgun olduğunu söylüyor: çalışıyor, ama bir gösterimi ürüne çeviren o nankör iş henüz yapılmamış.
Nvidia bunu neden yapıyor
Nvidia makineleri satıyor. Ama bir GPU bulutu işletmek yirmi tane daha karar gerektiriyor: düğümlerin sahipliği nasıl alınacak, nasıl bölümlenecek, kiracı karta değil kümeye nasıl kavuşacak, kullanım nasıl ölçülecek, gece üçte ölen düğümün yerine ne konacak. Bugüne kadar her operatör bu soruları kendi yanıtlıyor ya da yanıtı VMware'den, Red Hat'ten veya Kubernetes yönetimi satan kalabalık bir pazardan satın alıyordu. NVKE, Nvidia'nın bu yanıtı kendisinin verme — ve böylece kendi donanımının bölünme biçiminin varsayılanı olma — teklifi.
Bu bir yan iş değil. Yapay zekâ altyapısı, çoğu iki yıl önce başka bir iş yapan operatörler tarafından, devasa ve aceleyle kurulmuş salonlarda inşa ediliyor. Onlara çalışan bir kontrol aracı verirseniz, operasyonun şeklini yıllar boyunca siz belirlersiniz. Nvidia'nın Run:ai satın alımı — şirket artık tamamen Apache 2.0 altında açık kaynak — aynı yönü gösteriyor: GPU'ların üstündeki yazılım katmanı ücretsiz, açık ve Nvidia'nın şekillendirdiği bir şey olmalı.
İşin püf noktası
Nvidia'nın cömertliği açıklıkla aynı şey değil. Desteklenen tek altyapı sağlayıcısı NICo, yani Nvidia'nın kendi denetleyicisi. NVKE'yi benimseyen bir operatör, filosunu Nvidia'nın aracıyla otomatikleştiriyor; bu, filo Nvidia'nınsa harika çalışıyor. Bu, kolaylık kılığına girmiş bir standart belirleme hamlesi ve bu sektörde yıllardır işleyen tam da bu tür hamleler.
Bir de önizleme olması var. Kimlik doğrulama yok, yükseltme yolu yok, yedekleme yok: bunlar yol haritasında kapatılan boşluklar değil, müşteriler ödeme yapmaya başlayınca kapatılan boşluklar. Bugün NVKE üzerine inşa eden herkes, çalışan bir derleyicisi olan bir niyet beyanı üzerine inşa ediyor.
Neye bakmalı
NICo dışında altyapı sağlayıcılarının desteklenip desteklenmeyeceği — bu, NVKE'nin bir Nvidia ürünü mü yoksa bir platform mu olacağını belirler; yönetim düzleminin birileri onu üretime almadan önce yükseltme ve yedekleme prosedürlerine kavuşup kavuşmayacağı; kimlik doğrulamanın ev ödevi olmaktan çıkıp varsayılan hâle gelip gelmeyeceği; ve büyük GPU kiralayıcılarının bunu benimseyip benimsemeyeceği yoksa kendi araçlarını yapmaya devam edip etmeyeceği. GitHub yıldızları burada en ilgisiz gösterge. Önemli olan sayı, on iki ay içinde bunun üzerinde gerçekten kaç kümenin çalıştığı.

