Mistral AI, yazılımın tam olarak beklendiği gibi çalıştığının matematiksel kanıtı olan biçimsel doğrulamayı her geliştiriciye ulaştırmak için tasarlanmış güçlü yeni bir açık kaynak model olan Leanstral 1.5'i yayınladı.
Hata üretmeye yatkın geleneksel yapay zeka kodlama asistanlarının aksine Leanstral 1.5, işlevsel bir programlama dili ve kanıt asistanı olan Lean 4'te uzmanlaşıyor. Yazılım doğruluğunu en derin düzeyde garanti eden biçimsel kanıtlar yazabilir, kontrol edebilir ve hata ayıklayabilir.
Matematik Testlerinde Çığır Açan Başarı
Leanstral 1.5, titiz matematiksel testlerde dikkat çekici sonuçlar elde ediyor. miniF2F testini tamamen doyuruyor (doğrulama ve test setlerinde %100), prestijli Putnam Matematik Yarışması'ndaki 672 problemden 587'sini çözüyor ve lisansüstü ile doktora düzeyinde soyut cebir testlerinde FATE-H (%87) ve FATE-X (%34) alanlarında yeni bir çıta belirliyor.
En etkileyici yönü maliyet verimliliği. Çözülen her Putnam problemi yaklaşık 4 dolara mal olurken, devasa hesaplama bütçeleriyle çalışan rakip yaklaşımlar için bu maliyet 300 dolar veya daha fazla.
Gerçek Dünyada Hata Avı
Testlerin ötesinde, Leanstral 1.5 gerçek yazılımlardaki hataları otomatik olarak keşfederek pratik değerini kanıtladı. Otomatik bir işlem hattı Rust kodunu Lean'e çevirdi, Leanstral'ın doğruluk özelliklerini çıkarmasını sağladı ve bunları kanıtlamaya çalıştı. 57 açık kaynak depo genelinde sistem, 47 ihlal edilmiş özellik tespit etti ve bunlardan 11'i gerçek hatalara işaret etti — 5'i daha önce GitHub'da bildirilmemişti.
Açık ve Erişilebilir
Leanstral 1.5, izin verici Apache-2.0 lisansı altında yayınlandı. 119 milyar toplam parametreye sahip olmasına rağmen, yalnızca 6 milyar aktif parametre kullanan bir Uzmanlar Karışımı (MoE) mimarisi kullanıyor. Ağırlıklar Hugging Face'de mevcut ve Mistral ücretsiz bir API sunuyor.
Biçimsel doğrulama uzun süredir ana akım geliştirme için çok pahalı ve özel olarak görülüyordu. Leanstral 1.5, kanıt mühendisliğini pratik ve uygun maliyetli hale getirerek bu anlayışa meydan okuyor.
