Sakana KI, das in Tokio ansässige Labor für künstliche Intelligenz, hat ein Paper veröffentlicht, das backpropagationsfreies Training erstmals auf CNNs und RL ausweitet.
Das am 17. Juli auf arXiv veröffentlichte Paper „Diffusing Blame" baut auf der früheren Arbeit des Labors zu Error Diffusion auf.
Backpropagation ist rechenintensiv und wird von vielen Neurowissenschaftlern als biologisch unplausibel angesehen. Error Diffusion verteilt die Schuld für Fehler mithilfe einer einfachen, lokalen Regel vorwärts durch das Netzwerk.
Sakanas neue Arbeit erreicht 96,7 % auf MNIST und 61,7 % auf CIFAR-10 ohne Backpropagation.
Der Ansatz hat seinen Preis: Mit Error Diffusion trainierte Netzwerke verwenden etwa viermal mehr Parameter. Sakana-Forscher nennen dies die „Biologiestuer".
