Mistral AI hat Leanstral 1.5 veröffentlicht, ein leistungsstarkes neues Open-Source-Modell, das formale Verifikation — den mathematischen Beweis, dass Software genau wie beabsichtigt funktioniert — für jeden Entwickler zugänglich machen soll.
Im Gegensatz zu herkömmlichen KI-Codierungsassistenten, die fehleranfälligen Code generieren, ist Leanstral 1.5 auf Lean 4 spezialisiert, eine funktionale Programmiersprache und einen Beweisassistenten. Es kann formale Beweise schreiben, prüfen und debuggen, die die Korrektheit von Software auf tiefster Ebene garantieren.
Mathematische Bestleistungen
Leanstral 1.5 erzielt bemerkenswerte Ergebnisse bei strengen mathematischen Benchmarks. Es sättigt miniF2F vollständig (100 % bei Validierungs- und Testsets), löst 587 von 672 Problemen des renommierten Putnam-Wettbewerbs und setzt neue Bestmarken bei FATE-H (87 %) und FATE-X (34 %), die fortgeschrittene Algebrakenntnisse testen.
Besonders beeindruckend ist die Kosteneffizienz. Jedes gelöste Putnam-Problem kostet etwa 4 US-Dollar, verglichen mit schätzungsweise 300 US-Dollar oder mehr für konkurrierende Ansätze.
Echte Fehler entdeckt
Über Benchmarks hinaus bewies Leanstral 1.5 seinen praktischen Wert durch die automatische Entdeckung von Fehlern in realer Software. Eine automatisierte Pipeline übersetzte Rust-Code in Lean, ließ Leanstral Korrektheitseigenschaften ableiten und versuchte, diese zu beweisen. In 57 getesteten Repositories wurden 47 verletzte Eigenschaften markiert, von denen 11 auf echte Fehler hinwiesen — 5 davon waren zuvor auf GitHub nicht gemeldet.
Leanstral 1.5 ist unter der Apache-2.0-Lizenz veröffentlicht. Trotz 119 Milliarden Gesamtparametern verwendet es eine Mixture-of-Experts-Architektur mit nur 6 Milliarden aktiven Parametern pro Durchlauf. Die Gewichte sind auf Hugging Face verfügbar, und Mistral bietet einen kostenlosen API-Zugang.
Formale Verifikation galt lange als zu teuer und spezialisiert für die Mainstream-Entwicklung. Leanstral 1.5 fordert diese Annahme heraus, indem es Proof Engineering praktisch und kosteneffizient macht.
