Amazon, TechCrunch'un deyimiyle "Nvidia'ya karşı bugüne kadarki en büyük hamlesini" hazırlıyor: TorchNeuron. Bu bir çip değil, yapay zekâ donanımının gerçekte kazanılıp kaybedildiği katmana — yazılım yığınına — yönelik bir geliştirici aracı.
Buradaki çerçeveleme, tek bir kıyas ölçütünden daha önemli. Nvidia'nın hakimiyeti hiçbir zaman yalnızca silikona dayanmadı. Üretimdeki GPU kodunun çoğunun yazıldığı CUDA programlama modeline ve on yıl boyunca biriken kütüphanelere, profiler'lara, kernel'lere, çözümlenmiş sorulara dayanıyor; bunlar başka bir platforma taşınmayı pahalı hale getiriyor. Amazon yıllardır altta alternatifler inşa etti: eğitim ve çıkarım için Trainium ile Inferentia, bunları kullanılabilir kılması beklenen derleyici ve çalışma zamanı katmanı Neuron SDK. Ama geride kalan şey zirve işlem gücü değil, sıradan geliştirici deneyimi oldu: mevcut bir PyTorch kod tabanının ne kadarının taşınmaya dayandığı ve onu ayakta tutmak için kaç uzmana ihtiyaç duyulduğu.
İsim doğrudan bu boşluğu işaret ediyor. "Torch", açık model kodunun ezici çoğunluğunun yazıldığı PyTorch'tan; "Neuron" ise AWS'nin kendi hızlandırıcıları için geliştirdiği yığından geliyor. İki yarıyı birlikte taşıyan bir araç, bir PyTorch modelinden Amazon silikonunda çalışan bir iş yüküne giden yolu kısaltma girişimi olarak okunuyor: daha az yeniden yazım, daha az özel kernel, donanımı anlaması gereken daha az insan.
Bir geliştirici aracının neden asıl savaş alanı olduğu şurada: yapay zekâ altyapısında geçiş maliyeti FLOPS ile değil mühendis-saatiyle ölçülür. Bir rakip kıyaslamayı kazanıp yine de dağıtımı kaybedebilir, çünkü taşınma kimsenin bütçelemediği çeyrek yıllık bir iştir. Dolar başına performans, ancak taşınma ucuzsa pazar payına dönüşür. Amazon'un değiştirmeye çalıştığı hesap bu.
Bir de savunma mantığı var. Model yazarı ile çip arasındaki her katman — derleyici, grafik yakalama, kernel kütüphanesi — bir satıcının müşteriyi tutabileceği bir yerdir. Aracı elinde tutmak, giriş rampasını elinde tutmaktır; daha ucuz bir örnek tipini bağımlı bir iş yüküne çeviren şey de o rampamdır.
Açıkça söylenmesi gereken sınırlar: bu yazının hazırlandığı sırada elimizdeki tek doğrulanmış tanım TechCrunch'ın haberi ve onun çerçevelemesi. Hangi çerçevelerin desteklendiği, hangi örnek ailelerinin kapsandığı, eğitimin çıkarımın yanında kapsamda olup olmadığı, fiyatlandırma ve TorchNeuron'un açık kaynak olarak yayınlanıp yayınlanmayacağı bağımsız olarak doğrulanamadı. Spesifik yetenek iddialarını, Amazon belgelerini yayımlayana ve bağımsız ekipler taşınma sonuçlarını tekrarlayana kadar askıda sayın.
İzlenecekler, önem sırasıyla: Amazon'un mikro kıyaslamalar yerine gerçek üretim modelleri için taşınma sonuçları yayımlayıp yayımlamayacağı; aracın AWS dışında inandırıcı olup olmadığı — yalnızca tek bir bulutta çalışan bir derleyici, taşınabilirlik kostümü giymiş bir kilitlenme ürünüdür; ve PyTorch projesinin bu yolu destekleyip desteklemeyeceği, ki bu bir satıcı aracını ekosistem varsayılanına çevirir.
Uzaktan bakınca bu, uzun bir kampanyanın üçüncü cephesi. Önce çipler geldi, sonra kapasite anlaşmaları ve enerji sözleşmeleri, şimdi de araçlar geliyor: en az gösterişli katman ve tarihsel olarak hangi hızlandırıcı satıcılarının ayakta kalacağını belirleyen katman.
