Ein Frontier-Modell las Qwens Gewichte und änderte 0,016 Prozent davon – MATH-500 stieg von 7,9 auf 48,1 Prozent

Die meisten Geschichten darüber, wie KI die KI verbessert, handeln von Trainingsläufen: mehr Daten, mehr Beschleuniger, ein weiterer Gradientenschritt. Ein am Montag veröffentlichter Blogbeitrag beschreibt etwas Seltsameres: Forschende gaben einem Frontier-Sprachmodell die rohen Gewichte anderer neuronaler Netze – die Zahlen selbst, keine Gradienten, keine Trainingsschleife – und ließen es herausfinden, was diese Netze tun, und sie dann neu schreiben.

Das Team – Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab – nennt den Ansatz "Weight-Space Programming". Es ist ein Blogbeitrag mit offengelegten Protokollen und einem veröffentlichten Modell, kein begutachtetes Paper, und er erschien zusammen mit einer ausführlichen Gegenargumentation, die besagt, dass er weniger beweist, als es scheint. Beide Texte lohnen sich.

Gewichte lesen

Vier PPO-Agenten mit identischer Architektur – ein MLP 500→32→32→5 mit 17.253 Gewichten – wurden auf vier verschiedenen Raster-Spielen trainiert. Astra bekam den Gewichtstext plus eine Beschreibung des Rasters und der fünf Aktionen, ohne Spielnamen und ohne Auswahlliste. Es benannte alle vier Spiele richtig. Ebenso erkannte es aus den Gewichten allein, welche Formen drei winzige Diffusionsmodelle erzeugen, und als ihm nur die vier mittleren Transformer-Blöcke von Zeichenmodellen mit 7,2 Millionen Parametern vorlagen (Ein- und Ausgabeschicht entfernt), benannte es für alle drei die Trainingssprache und lokalisierte jeden Kopier- bzw. Induktionskopf – deckungsgleich mit den durch Ausführen der Netze gemessenen Referenzwerten, ohne Fehlalarm.

Gewichte schreiben

Mit Regeln und Quellcode dreier MinAtar-Spiele und auf null initialisierten Gewichten schrieb Astra in einer einzigen Antwort Netze, die in allen drei Spielen PPO mit 100 Millionen Trainingsschritten schlugen. In Breakout erzielte es 517,4 gegen PPOs 15,8. Auf 9×9-Go, mit einer Python-Sandbox, aber ohne Go-Bibliothek, schrieb es ein Netz mit 1,48 Millionen Parametern als 336 Zeilen Konstruktionscode: ohne einen einzigen Forward-Pass gewann es mehr als die Hälfte seiner Partien gegen zwei kleinere PPO-Netze, mit 50 Forward-Pässen schlug es ein gleich großes PPO-Netz, das auf 20 Millionen Partien trainiert worden war.

Gewichte reparieren

Eine Auto-auf-Rampe-Policy war in einem lokalen Minimum hängen geblieben und hatte in 256 Episoden die Rampe nie genommen. Astra änderte in einem Versuch 3,5 Prozent der Gewichte; danach gelang dem Auto jede der 1.024 Testepisoden.

Das Schlagzeilenergebnis nutzt ein echtes, wenn auch kleines Sprachmodell. Qwen3.5-0.8B gerät im Denkmodus massiv in Schleifen – 85 der ersten 96 Übungsantworten liefen in die Obergrenze von 32.768 Token. Astra führte die Schleife auf eine Richtung zurück, die die MLPs in Schicht 15 und 19 schreiben, und subtrahierte sie aus je 64 Ausgabespalten: 131.072 von rund 800 Millionen Gewichten, also 0,016 Prozent. Mit einem Budget von 50 Forward-Pässen über Übungsaufgaben stieg MATH-500 von 7,9 auf 48,1 Prozent, GSM8K von 13,8 auf 67,1 Prozent und die Instruktionsbefolgung (IFEval) von 21,0 auf 62,3 Prozent. Der Anteil der MATH-500-Antworten, die ins Token-Limit liefen, fiel von 93 auf 33 Prozent.

Was nicht ging

Die negativen Befunde sind so lehrreich wie die positiven. Bei Gemma 3 270M, das selten in Schleifen gerät, fand Astra gewöhnliche Rechen- und Algebrafehler ohne eine einzelne abschaltbare Komponente; seine Änderungen bewegten MATH-500 um höchstens etwa einen Punkt, ein Zugewinn, den das Modell selbst als nicht gesichert bezeichnete. Der schärfste Satz des Beitrags ist die eigene Zusammenfassung: Gewichte zu bearbeiten könne ein Hindernis beseitigen, das eine Fähigkeit verdeckt, aber keine Fähigkeit hinzufügen, die dem Modell fehlt. Auf die Frage, welcher von zwei identisch wirkenden Gemma-Finetunes auf Schmeichelei trainiert worden war, scheiterte Astra viermal anhand der Gewichte allein; erst als es 16 eigene Prompts schreiben und die Attention-Muster einsehen durfte, fand es den richtigen.

Der Widerspruch

Sean Goedeckes Replik legt konkret dar, dass nichts davon übermenschlich ist. Das Spiel-Erkennen laufe darauf hinaus, die Normen der ersten Schicht zu berechnen – drei Zeilen NumPy –, danach seien die Heatmaps mit bloßem Auge erkennbar; die Arbeit leisteten vor allem die Labels der Eingangskanäle. Die Qwen-Reparatur wiederum sei genau das Vorgehen, das Forschende schon für Abliteration und Steuerung nutzen: schleifende und nicht schleifende Texte erzeugen, messen, welche Gewichte den Unterschied tragen, sie kürzen. "Es ist ein beeindruckender Trick, aber die beste Art, mit Binärdateien zu arbeiten, ist immer noch, Quellcode zu schreiben und ihn zu kompilieren", schreibt er. "Genauso ist die beste Art, die Gewichte eines Modells zu aktualisieren, es normal zu trainieren."

Beide Lesarten können gleichzeitig zutreffen. Die Fähigkeit ist real und reproduzierbar – jeder Prompt, jede Antwort, jedes Skript und jede Auswertung liegt in den veröffentlichten Protokollen –, die Deutung ist umstritten. Unstrittig ist die Richtung: Das Team baut einen Benchmark, und die interessante Frage ist nicht, ob ein Modell 0,016 Prozent der Gewichte verschieben kann, sondern ob es das verlässlich genug kann, um der Prüfung statt der Vorführung zu dienen.

Das hat eine unangenehme Kehrseite. Ein Modell, das Gewichte gut genug liest, um ein eingepflanztes Verhalten zu erkennen, ist auch ein Modell, das Gewichte schreiben kann. Die eigene Rahmung nennt Prüfung ohne Evaluierung, billiges Unlearning und Fähigkeitssteuerung ohne Daten; dieselbe Liste von der anderen Seite gelesen ist eine Sammlung von Wegen, etwas in ein Modell zu bringen, für dessen Erkennung kein Benchmark gebaut wurde.