Meta выпустила нейросеть AudioCraft

Компания Meta выпустила нейросеть AudioCraft с открытым исходным кодом. Программа способна создавать музыку и звуки на основе текстовых запросов. Для работы были объединены три существующие модели генеративного ИИ для создания звуков из текстовых описаний. AudioGen и MusicGen производят звуковые эффекты и музыку соответственно, а EnCodec сжимает звуки для получения более качественных результатов.

AudioCraft способна генерировать музыку не только на основе текстового запроса, но также работать с уже существующей музыкой или работать с записью с микрофона. По словам представителей Meta, нейросеть с открытым исходным кодом дает профессионалам и исследователям возможность обучать модели, используя свои собственные данные. Все предварительно обученные модели используют общедоступные или принадлежащие Meta материалы, поэтому споры об авторских правах исключены.

Система Meta не предназначена для обычных пользователей — в работе с AudioCraft необходимо иметь технические навыки, чтобы правильно использовать программу. Однако, даже в своем нынешнем состоянии AudioCraft намекает на будущую роль ИИ в музыке. На данный момент, нейросеть не способна полностью заменить музыкантов. Однако, программа позволяет получить больше инструментов, благодаря которым можно создавать минусовки, сэмплы и другие звуковые элементы с небольшими усилиями.