Transformer'lar aritmetikte kötü olmalarıyla ünlüdür. Yeni bir açık kaynak projesi, asıl darboğazın mimarinin kendisi değil eğitim olduğunu savunuyor.
Bağımsız araştırmacı Robert Porter, sıradan Python ile yazılmış bir hesap grafiğini alıp onu çalıştıran standart bir transformer'ın ağırlıklarını üreten Torchwright derleyicisini yayınladı. Süreçte hiç eğitim yok: her ağırlık katman katman elle hesaplanıyor ve ardından standart Hugging Face koduyla yüklenebilen sıradan bir Phi-3 kontrol noktasına yazılıyor.
Araç basit bir sorudan doğdu: Bir transformer ilkokul aritmetiğini ifade edebilir mi, yoksa bu mimarinin kapasitesinin mi dışında? Transformer'lar idealize edilmiş ispatlarda Turing-tam olsa da Porter, belirli bir algoritma için tam ağırlıkların gerçekten var olup olmadığını bilmek istiyordu. Torchwright'ın yanıtı kesin bir evet: derlenen modeller, 12 basamağa kadar çarpma işlemlerinin desteklenen 3.000.000 ifadesinin tamamında %100 doğruluk elde ediyor — gradyan inişi yok, veri yok.
Derleyici, on yıllık yorumlanabilirlik araştırmasının üzerine inşa edildi. Weiss, Goldberg ve Yahav'ın transformer hesaplarını tanımlamak için tanıttığı RASP programlama dilinden ve RASP programlarını gerçek ağırlıklara derleyen DeepMind'ın Tracr'ından fikirler devralıyor. Torchwright daha da ileri giderek modern, hazır bir mimariyi hedefliyor: üretim LLM'lerindekiyle aynı şekilde nedensel softmax dikkat, döner konum gömme (RoPE), RMSNorm ve kapılı SwiGLU ileri beslemeli katmanlar.
Perde arkasında derleyici, artık akışı (residual stream) bir karalama defteri gibi kullanıyor: ara değerler için sütunlar ayırıyor, atlama bağlantısını toplayıcı olarak kullanıyor ve bir değerin negatifini yazarak sütunları serbest bırakıyor. Çarpma, ReLU'dan ziyade SwiGLU altında çok daha temiz çıkıyor — kapının simetrisi a*b'yi tam olarak ifade edilebilir kılıyor.
Depoda üç toplayıcı, rakam sıralama, bir Sezar şifresi, Fibonacci ve aynı ifadeleri kökten farklı yollarla hesaplayan dört hesap makinesi dahil on iki örnek grafik yer alıyor — bunlardan biri her cevabı ezberliyor. Yazarın bir sonraki yazısı, her stratejinin katman, parametre ve token cinsinden maliyetini ölçecek.
Proje bir kavram kanıtı — kimsenin transformer hesap makinesine ihtiyacı yok. Ancak bir yorumlanabilirlik laboratuvarı olarak nadir bir şey sunuyor: bir modeldeki her ağırlığın ne yaptığına dair kesin bilgi.
