Google сделал нейросеть, которая создает музыку из текста

Разработчики Google создали новый искусственный интеллект, способный генерировать музыку на основе текстового описания.

Об этом разработчики написали на Github.com.

Разработчики утверждают, что MusicLM генерирует музыку на частоте 24 кГц, которая остается неизменной в течение нескольких минут.

Также отмечено, что MusicLM превосходит предыдущие системы как по качеству генерируемого звука, так и по соответствию текстовому описанию.

Разработчики «для поддержки будущих исследований» опубликовали набор данных, состоящий из 5,5 тыс. пар «музыка-текст», то есть подробное описание + аудиофайл.

Кроме того, разработчики сгенерировали музыку по описанию картин Сальвадора Дали, Анри Матиса и Эдварда Мунка.

«Вдохновленная галлюцинациями, в которых Мунк почувствовал крик всей природы, она изображает охваченное паникой существо, одновременно похожее на труп, сперматозоид или зародыш, контуры которого отражаются луной в линиях кроваво-красного неба», – говорится в описании.

А сгенерированная музыка, удивительно, даже довольно спокойная.

Функционал для самостоятельной генерации музыки по тексту, к сожалению, пока недоступен. Но с примерами сгенерированных мелодий можно ознакомиться по ссылке.

Отметим, ранее Highload писал, что в украинском (и не только) информационном пространстве набрала популярность китайская нейросеть Different Dimension Me, рисующая аниме-версии загруженных изображений.

Читайте также:

Нейросеть Stable Diffusion выпустила масштабный апдейт

«Это всегда черный ящик»: как тестировать нейросети