Açık kaynak çıkarım motoru SGLang'ın arkasındaki kâr amacı gütmeyen kuruluş LMSYS Org, sekiz kurucu üyeyle SGLang Konsorsiyumu'nu kurdu: Nvidia, AMD, Intel, Google, Meta, Cloudflare, Modal ve RadixArk. Duyuru, 12 Kasım'da San Francisco'da düzenlenen ilk SGLang Zirvesi'nin açılış konuşmasında yapıldı.

Konsorsiyum, projenin yol haritasının şekillendirilmesine yardımcı olmak ve açık kaynak yapay zekâ çıkarımını ilerletmek için SGLang'ın bakımcılarıyla birlikte çalışacak. Üyelere, ortaya çıkan çıkarım trendlerini tartışabilecekleri ve ortak öncelikleri ortak mühendislik çalışmasına dönüştürebilecekleri kalıcı bir forum sağlıyor; odak alanları sınır modeli desteği, akıl yürütme ve çok modlu iş yükleri, dağıtık çıkarım ve donanım optimizasyonu.

Her kurucu üye bir teknik temsilci atayacak ve yılda iki yol haritası toplantısına katılacak; mühendislik uzmanlığı, dağıtım geri bildirimi, test kaynakları veya ortak geliştirmeyle katkı sağlayacak. Çalışma grupları toplantılar arasında iş birliği yapabilecek ve yol haritası yönelimi konusunda kamuya açık güncellemeler paylaşılacak. Kritik olarak teknik kararların ve kod kabulünün sorumluluğu SGLang'ın bakımcılarında kalıyor ve proje tüm topluluğa açık kalıyor.

Zamanlama, çıkarımın yapay zekâ harcamalarındaki artan payını yansıtıyor. LMSYS'nin aktardığı Deloitte verilerine göre çıkarımın 2026'da tüm yapay zekâ hesaplamasının yaklaşık üçte ikisini oluşturması bekleniyor; bu oran 2025'te yarısı civarındaydı ve çıkarım motoru, bu hesaplamanın her şirketin donanımında ne kadar hızlı ve uygun maliyetle çalışacağını belirliyor. PyTorch ekosistemindeki tam yığın bir çıkarım motoru olan SGLang, yüz binlerce GPU üzerinde çalışıyor ve Meta, Microsoft, Google, Amazon, Thinking Machines Lab, Cloudflare, Reflection ve Modal gibi şirketlerin büyük üretim dağıtımlarını destekliyor.

Nvidia hiper ölçekli ve yüksek performanslı hesaplama başkan yardımcısı Ian Buck, 'Daha iyi yazılım, geliştiricilerin NVIDIA hesaplamasından daha fazla performans almasına yardımcı olur' dedi. AMD'den Ramine Roane, SGLang'ın 'donanımlar arası çalışan hızlı ve açık bir çıkarım motoru' sunduğunu söyledi. Orijinal SGLang makalesinin ortak yazarı ve RadixArk CEO'su Ying Sheng ise yeni veri merkezleri kurmanın zorlukları göz önüne alındığında verimliliğe yönelik yazılım yaklaşımlarının çok önemli olacağını belirtti.

İlgili bir hamleyle Intel, SGLang'ı Intel CPU, GPU ve hızlandırıcıları için optimize etmek üzere RadixArk ile bir iş birliği duyurdu. Konsorsiyum herhangi bir üreticiye özel değil; LMSYS projenin kurucu grup dışındaki katkıcılara açık kaldığını vurguladı.