JEN-1 от Futureverse революционная модель искусственного интеллекта для генерации текста в музыку в реальном времени
Компания Futureverse объявила о запуске новой модели искусственного интеллекта под названием JEN-1. Она предназначена для создания музыкального контента и является значительным прорывом в области музыкального искусственного интеллекта. JEN-1 достигает самых высоких показателей согласованности текста и музыки, а также качества музыки при сохранении высокой эффективности вычислений.
Компания Futureverse тщательно оценивает JEN-1 на основе объективных показателей и оценок людей. Результаты показывают, что JEN-1 создает музыку более высокого качества (85,7/100) по сравнению с лучшими существующими методами на сегодняшний день (83,8/100).
Создание музыки из текста становится сложным из-за сложности музыкальных аранжировок и необходимости высокой частоты дискретизации. В статье Futureverse говорится, что JEN-1 может преодолеть эти проблемы благодаря своей модели распространения, основанной на авторегрессионном и неавторегрессивном обучении. JEN-1 способен создавать реалистичную и креативную музыку.
Из-за своей вычислительной эффективности JEN-1 может использоваться для создания музыки в режиме реального времени, что открывает новые возможности для создания музыки, живых выступлений и виртуальной реальности.
Модель искусственного интеллекта JEN-1 применяет специальный автоэнкодер и модель диффузии для создания детального стереозвука высокого качества с частотой дискретизации 48 кГц. Кроме того, она предотвращает обычную потерю качества при обработке аудио. Модель обучена решать различные задачи, включая создание музыки, продолжение музыкальных последовательностей и заполнение отсутствующих частей, что делает ее универсальной.
JEN-1 также умело совмещает методы авторегрессии и неавторегрессии для достижения баланса между уловлением зависимостей в музыке и эффективной генерацией. Кроме того, модель интеллектуального искусственного интеллекта использует умные методы обучения и обучена одновременной обработке различных музыкальных аспектов.
JEN-1 vs MusicLM, MusicGen и другие модели искусственного интеллекта
Futureverse проводит сравнение JEN-1 с актуальными моделями, такими как MusicLM от Google и MusicGen от Meta, и показывает, что подход, используемый в JEN-1, дает лучшие результаты в точности и реалистичности.
Оценка производилась на основе работы различных моделей на тестовом наборе данных MusicCaps, который содержит пары музыки и текста. Для оценки использовались как количественные, так и качественные показатели. Количественные показатели включали оценку FAD (верность, осведомленность, распутывание) и оценку CLAP (непрерывность и штрафы за локальные аномалии). Качественные показатели включали оценку качества и согласованности созданной музыки со стороны людей.
Результаты исследования свидетельствуют о том, что JEN-1 превосходит другие модели по различным показателям. Она демонстрирует высокие оценки FAD и CLAP, а также получает высокую оценку от экспертов-людей. Более того, JEN-1 является более эффективной в вычислительном отношении, имея значительно меньшее количество параметров MusicGen и Noise2Music.
JEN-1 указывает на растущий потенциал искусственного интеллекта в музыкальной индустрии. В настоящее время ИИ уже применяется для создания музыки, однако JEN-1 представляет собой значительный прогресс в этой области. Она является первой моделью, которая достигла самых современных показателей качества и количества, а также более эффективна в вычислительном отношении по сравнению с предыдущими моделями.
