YuE2, ein Open-Source-Musikgenerierungssystem der nächsten Generation, das von einem Konsortium aus HKUST, M·A·P, Tokenwave.AI, NYU, Stanford, MBZUAI, NOIZ und ACE Studio entwickelt wurde, hat die höchste jemals gemessene SongBench-Durchschnittsnote (6.9632) bei der WildSongBench-Auswertung erreicht und damit alle Suno-Konfigurationen übertroffen.
Die zentrale Innovation des Systems ist die symbolische Planung: Ausgehend von Texten und einem Stil-Prompt generiert YuE2 zunächst eine explizite Melodie- und Akkord-Partitur in ABC-Notation und realisiert diesen Plan dann als vollständigen 48-kHz-Stereosong mit Gesang und Begleitung. Dieser White-Box-Ansatz bedeutet, dass die Komposition vor der Audio-Wiedergabe lesbar, editierbar und abspielbar ist.
YuE2 verwendet ein AR-NAR Mixture-of-Transformers-Backbone und bietet eine gestufte Python-API mit plan(), generate_semantic(), synthesize() und decode() als separate Schritte.
Das System unterstützt Zero-Shot-Covers: Die Transkription einer Quellaufnahme über das Begleitmodell SheetSage2 und dann die Neugestaltung in einem neuen Stil. Bei 948 Cover-Werken erreichte YuE2 0.647 CLEWS mAP mit Full-Score-Bedingung, verglichen mit 0.006 ohne Partitur.
Der Code ist unter Apache 2.0 lizenziert; Modellgewichte unter CC BY-NC 4.0.
