LMSYS Org, die gemeinnützige Organisation hinter der Open-Source-Inferenz-Engine SGLang, hat das SGLang Consortium mit acht Gründungsmitgliedern gestartet: Nvidia, AMD, Intel, Google, Meta, Cloudflare, Modal und RadixArk. Die Ankündigung erfolgte in der Eröffnungs-Keynote des ersten SGLang Summit in San Francisco am 12. November.
Das Konsortium arbeitet mit den Maintainern von SGLang daran, die Roadmap des Projekts mitzugestalten und offene KI-Inferenz voranzutreiben. Es bietet den Mitgliedern ein ständiges Forum, um neue Inferenz-Trends zu erörtern und gemeinsame Prioritäten in konkrete Engineering-Arbeit zu überführen – mit Fokus auf Frontier-Modell-Unterstützung, Reasoning- und multimodale Workloads, verteilte Inferenz und Hardware-Optimierung.
Jedes Gründungsmitglied benennt einen technischen Vertreter und nimmt an zwei Roadmap-Meetings pro Jahr teil, mit Beiträgen in Form von Engineering-Know-how, Deployment-Feedback, Testressourcen oder gemeinsamer Entwicklung. Arbeitsgruppen können zwischen den Treffen zusammenarbeiten, mit öffentlichen Updates zur Roadmap. Entscheidend: Die technischen Entscheidungen und die Code-Abnahme bleiben bei den SGLang-Maintainern, und das Projekt bleibt für die gesamte Community offen.
Das Timing spiegelt den wachsenden Anteil der Inferenz an den KI-Ausgaben. Laut von LMSYS zitierten Deloitte-Zahlen dürfte Inferenz 2026 rund zwei Drittel der gesamten KI-Rechenleistung ausmachen, nach etwa der Hälfte im Jahr 2025 – und die Inferenz-Engine bestimmt, wie schnell und kosteneffizient diese Rechenleistung auf der Hardware jedes Unternehmens läuft. SGLang, eine Full-Stack-Inferenz-Engine im PyTorch-Ökosystem, läuft auf Hunderttausenden GPUs und betreibt große Produktions-Deployments für Unternehmen wie Meta, Microsoft, Google, Amazon, Thinking Machines Lab, Cloudflare, Reflection und Modal.
'Bessere Software hilft Entwicklern, mehr Leistung aus NVIDIA-Compute herauszuholen', sagte Ian Buck, Vice President für Hyperscale- und High-Performance-Computing bei Nvidia. AMDs Ramine Roane sagte, SGLang biete 'eine schnelle, offene Inferenz-Engine, die hardwareübergreifend läuft'. Ying Sheng, Mitautorin des ursprünglichen SGLang-Papers und CEO von RadixArk, sagte, Software-Ansätze für Effizienz würden angesichts der Schwierigkeit, neue Rechenzentren zu bauen, enorm wichtig.
In einem verwandten Schritt kündigte Intel eine Zusammenarbeit mit RadixArk an, um SGLang für Intel-CPUs, -GPUs und -Beschleuniger zu optimieren. Das Konsortium ist nicht an einen Anbieter gebunden; LMSYS betonte, das Projekt bleibe für Beitragende außerhalb der Gründungsgruppe offen.

