Apple'ın JACCL (Job Access and Communication Control Layer) kütüphanesi, iX dergisinin (heise aracılığıyla) yayınlanan bir analize göre, ağ bağlantılı Mac sistemleri üzerinde çok büyük dil modellerini çalıştırmak için eksik olan iletişim altyapısını sunuyor.
Kütüphane, Apple'ın MLX çerçevesi ve mlx.distributed uzantısıyla çalışarak birden fazla Mac makinesi boyunca dağıtılmış çıkarım ve ince ayarlamayı mümkün kılıyor. Daha önce, yüzlerce milyar veya trilyon parametreli modelleri çalıştırmak, veri merkezlerinde özel Nvidia GPU'ları gerektiriyordu. JACCL, düğümler arası iletişim katmanını — özünde Mac donanımı için optimize edilmiş RDMA benzeri bir taşıma — sağlıyor ve mlx.distributed'ın model ağırlıklarını verimli bir şekilde bölmesini ve hesaplamaları makineler arasında koordine etmesini mümkün kılıyor.
Makale, ağ bağlantılı Mac Studio'ların, Kimi K3 ve Qwen gibi modelleri daha önce bulut altyapısı gerektiren ölçekte çalıştırabilen hesaplama kümelerine nasıl birleştirilebileceğini açıklıyor. Yaklaşım, Apple Silicon'un unified memory mimarisinden yararlanıyor; burada her makinenin RAM'i PCIe darboğazları olmadan GPU tarafından erişilebilir.
Bu gelişme, Mac kümelerini, bulut sağlayıcılara veya Nvidia'nın özel donanımına bağımlı olmadan büyük modelleri yerel olarak çalıştırmak isteyen kuruluşlar için viable bir alternatif olarak konumlandırıyor. MLX + mlx.distributed + JACCL kombinasyonu, Apple'ın kendi donanımı üzerinde dağıtılmış LLM çıkarımı için tam yığınını temsil ediyor.
