Разработчики Сет Форсгрен и Хайк Мартирос создали нейросеть Riffusion, способную генерировать музыку на основе текстовых подсказок. Она умеет обучаться и накапливать информацию о музыке с помощью сонограмм – визуальной формы представления звуков. Подобный формат принципиально отличается от нотной записи и визуализирует произвольные звуки в любых сочетаниях.
Сонограмма является разновидностью графика, на котором по одной оси откладывается время исполнения каждого звука, а на другой его частота. Каждый пиксель обладает собственным цветом, обозначающим амплитуду звука в каждый момент времени. Сонограммы строятся с использованием модели цифрового обучения Stable Diffusion, поэтому их легко ассоциировать с текстом. Например, задать искусственному интеллекту придумать и озвучить «джаз с нотками летнего дождя».
Riffusion является своего рода экспериментом — благодаря специальному веб-приложению пользователи смогут генерировать произвольные мелодии и комбинации звуков. Весь процесс автоматически визуализируется, результат сохраняется в базе данных для дальнейшего обучения ИИ. Хотя большая часть произведений Riffusion звучит немного странно, это отличный пример довольно перспективной технологии манипуляции звуками в реальном времени.
Сахифани кўриш статистикаси:
- бу ой (Май 2024) - 7;
- ўтган ой (Апрел 2024) - 1;
- оxирги 3 ой (Феврал 2024 - Апрел 2024) - 6;
- оxирги йил (Май 2023 - Апрел 2024) - 17;