Последний эксперимент Adobe в области генеративного ИИ нацелен на помощь людям в создании и редактировании музыки без необходимости профессиональных навыков.

Анонсированный во время саммита Hot Pod Summit в Бруклине, прототип Project Music GenAI Control позволяет пользователям генерировать музыку при помощи текстовых запросов, а затем редактировать аудио без перехода в специализированное ПО.

Пользователи начинают с ввода текстового описания, которое сгенерирует музыку в указанном стиле, например "веселый танец" или "грустный джаз". Adobe заявляет, что встроенные средства редактирования затем дают возможность настраивать результаты, изменяя любые повторяющиеся паттерны, темп, громкость и структуру. Фрагменты композиций можно смешивать, а аудио генерировать в виде бесконечной зацикленной дорожки для создания, например, фоновой музыки.

По словам Adobe, инструмент также может корректировать сгенерированное аудио "на основе базовой мелодии" и удлинять аудиофрагменты, если вы захотите сделать трек достаточно длинным, скажем, для подкаста или анимации. Пока что интерфейс редактирования сгенерированного звука не раскрывается, так что придётся довольствоваться воображением.

В Adobe заявляют, что для публичной демонстрации Project Music GenAI Control использовался контент из общественного достояния, но неясно, сможет ли сам инструмент принимать для обработки любое аудио напрямую или как долго можно растягивать фрагменты.

Похожие инструменты уже доступны или разрабатываются другими компаниями, включая MusicLM от Google и AudioCraft от Meta. Но они позволяют лишь генерировать музыку по текстовым запросам без возможности редактирования. Это значит, приходится либо генерировать аудио заново до получения желаемого результата, либо самостоятельно править в аудиоредакторах.

Одна из самых захватывающих особенностей этих новых инструментов в том, что они не ограничиваются генерацией аудио. Они выводят всё на уровень Фотошопа, предоставляя создателям контента такой же глубокий контроль для изменения, настройки и правки их аудио. Это пиксельный уровень управления для музыки.

Разработка Project Music GenAI ведётся в сотрудничестве с Калифорнийским университетом и Школой компьютерных наук университета Карнеги-Меллона. В Adobe описывают его как "начальную стадию" эксперимента. Значит, несмотря на потенциал встраивания этих возможностей в текущие инструменты Adobe типа Audition и Premiere, для полноценного внедрения потребуется время.

Пока инструмент недоступен широкой публике и дата выхода не анонсирована, но за разработкой Project Music GenAI наряду с другими экспериментами Adobe можно следить на сайте Adobe Labs.