Apples JACCL-Bibliothek (Job Access and Communication Control Layer) bietet das fehlende Kommunikationsgerüst für den Betrieb sehr großer Sprachmodelle über vernetzte Mac-Systeme hinweg, wie eine Analyse des iX-Magazins (via heise) berichtet.
Die Bibliothek arbeitet mit Apples MLX-Framework und dessen mlx.distributed-Erweiterung zusammen, um verteilte Inferenz und Feintuning über mehrere Mac-Maschinen zu ermöglichen. Zuvor erforderte der Betrieb von Modellen mit Hunderten Milliarden oder Billionen von Parametern spezialisierte Nvidia-GPUs in Rechenzentren. JACCL stellt die Knoten-zwischen-Kommunikationsschicht bereit — im Wesentlichen eine für Mac-Hardware optimierte RDMA-ähnliche Transport — die es mlx.distributed ermöglicht, Modellgewichte effizient aufzuteilen und Berechnungen über Maschinen hinweg zu koordinieren.
Der Artikel beschreibt, wie vernetzte Mac Studios zu Compute-Clustern zusammengeschlossen werden können, die in der Lage sind, Modelle wie Kimi K3 und Qwen in einem Maßstab auszuführen, der zuvor Cloud-Infrastruktur erforderte. Der Ansatz nutzt die unified Memory Architecture von Apple Silicon, bei der der RAM jeder Maschine ohne PCIe-Engpässe für die GPU zugänglich ist.
Diese Entwicklung positioniert Mac-Cluster als eine lebensfähige Alternative für Organisationen, die große Modelle lokal ausführen möchten, ohne auf Cloud-Anbieter oder Nvidias spezialisierte Hardware angewiesen zu sein. Die Kombination aus MLX + mlx.distributed + JACCL repräsentiert Apples vollständigen Stack für verteilte LLM-Inferenz auf eigener Hardware.
