Meta hat kürzlich sein Musikgenerierungsmodell MusicGen als Open Source auf Github veröffentlicht. Berichten zufolge dient MusicGen vor allem der Musikgenerierung, die Texte und vorhandene Melodien in komplette Musik umwandeln kann. Dieses Modell basiert auf dem 2017 von Google eingeführten Transformer-Modell.
Das Forschungs- und Entwicklungsteam sagte: „Wir haben 20.000 Stunden autorisierte Musik verwendet, um das Modell zu trainieren, und den EnCodec-Encoder von Meta verwendet, um die Audiodaten für die Parallelverarbeitung in kleinere Einheiten zu zerlegen, sodass die Recheneffizienz und Generierungsgeschwindigkeit von MusicGen schneller sind als bei derselben Art von.“ KI-Modell ist besser.“
Darüber hinaus unterstützt MusicGen auch die kombinierte Eingabe von Text und Melodie, Sie können beispielsweise vorschlagen, „ein leichtes Lied“ zu generieren und gleichzeitig darum bitten, es „mit Beethovens „Ode an die Freude“ zu kombinieren.
Das Forschungs- und Entwicklungsteam testete auch die tatsächliche Leistung von MusicGen. Die Ergebnisse zeigen, dass MusicGen im Vergleich zu Googles MusicLM und anderen Musikmodellen wie Riffusion, Mousai und Noise2Music bei Indikatoren wie dem Grad der Übereinstimmung zwischen Musik und Textaufforderungen und der Glaubwürdigkeit der Komposition besser abschneidet und im Allgemeinen etwas besser als Google ist . MusicLM-Ebene.
Meta hat das Modell für die kommerzielle Nutzung lizenziert und eine Demo-Webanwendung auf Huggingface veröffentlicht .
weiterführende Literatur