Riffusion генерирует музыку по тексту

Разработчики Сет Форсгрен и Хайк Мартирос создали нейросеть Riffusion, способную генерировать музыку на основе текстовых подсказок. Она умеет обучаться и накапливать информацию о музыке с помощью сонограмм – визуальной формы представления звуков. Подобный формат принципиально отличается от нотной записи и визуализирует произвольные звуки в любых сочетаниях.

Сонограмма является разновидностью графика, на котором по одной оси откладывается время исполнения каждого звука, а на другой его частота. Каждый пиксель обладает собственным цветом, обозначающим амплитуду звука в каждый момент времени. Сонограммы строятся с использованием модели цифрового обучения Stable Diffusion, поэтому их легко ассоциировать с текстом. Например, задать искусственному интеллекту придумать и озвучить «джаз с нотками летнего дождя».

Riffusion является своего рода экспериментом — благодаря специальному веб-приложению пользователи смогут генерировать произвольные мелодии и комбинации звуков. Весь процесс автоматически визуализируется, результат сохраняется в базе данных для дальнейшего обучения ИИ. Хотя большая часть произведений Riffusion звучит немного странно, это отличный пример довольно перспективной технологии манипуляции звуками в реальном времени.