Исходный код уже на GitHub: Meta запустила нейросеть для создания музыки

Компания Meta выпустила нейросеть AudioCraft – это генератор музыки, в котором работает сразу три модели искусственного интеллекта.

Этой новостью Meta поделилась у себя в блоге.

AudioCraft состоит из трех моделей: MusicGen, AudioGen и EnCodec

• MusicGen – генерирует музыку на основе текстовых данных пользователей;
• AudioGen создает звуки окружающей среды и звуковые эффекты, включая лай собак, гудки авто или шаги по деревянному полу;
• EnCodec редактирует звуковые дорожки.

Кроме того, за счет открытого исходного кода разработчики могут улучшать нейросеть и обучать ее дальше.

«Люди могут легко расширить наши модели и адаптировать их к своим случаям для исследования. Есть почти безграничные возможности, когда вы предоставляете людям доступ к моделям, чтобы настроить их в соответствии со своими потребностями. И это то, что мы хотим сделать с этим семейством моделей: дать людям возможность улучшить свою работу», – сообщила Компания.  

В Meta считают, что AudioCraft могут использовать и профессиональные музыканты, разработчики игр и представители малого бизнеса, чтобы создать аудио к постам в соцсетях.

Прослушать готовые записи можно на  сайте AudioCraft, а исходный код проекта уже доступен на GitHub .

Отметим, что это далеко не первая подобная нейросеть. Полгода назад разработчики Google создали MusicLM. Она генерирует музыку на частоте 24 кГц, которая остается постоянной в течение нескольких минут.

Разработчики «для поддержки будущих исследований» опубликовали набор данных, состоящий из 5,5 тыс. пар «музыка-текст», то есть подробное описание + аудиофайл.

Читайте также: 

YouTube создает нейросеть для многоязычного дубляжа видео

Как тебе, Midjourney? Нейросеть-генератор видео по тексту GEN-2 стала общедоступной

Украинская разработчица создала подборку нейросетей: кодят, исправляют баги, пишут резюме и сопроводительные письма