Google разработал нейросеть, которая генерирует музыку на основе текста

Google разработал нейросеть MusicLM, которая генерирует музыку на основе текста

Пока пользователи не могут воспользоваться нейросетью самостоятельно, однако уже можно послушать более пяти тысяч мелодий, созданных по текстовому описанию.

Разработчики Google создали нейросеть MusicLM, генерирующую на основе текста музыкальные произведения продолжительностью несколько минут. Об этом сообщает The Verge.

Нейросеть обучали на 280 тысячах часах музыки. Собственные произведения она создает на частоте 24 кГц, которая остается неизменной.

Пока пользователи не могут сами создавать музыкальные композиции, однако «для поддержки будущих исследований» на сайте проекта уже доступны 5,5 тысячи пар «музыка — текст».

Среди примеров есть фрагмент, полностью созданный из текстового описания. Эта композиция создана по такому описанию: электронная песня из видеоигры (первые 15 секунд), мелодия медитации у реки (следующие 15 секунд), звуки пламени (еще 15 секунд) и фейерверк (тоже 15 секунд).

Нейросеть может создать музыку, даже если в описании указано всего два слова. К примеру, «мелодичное техно», «ритмичная» и «расслабляющий джаз».