Adobe выпустила ИИ-инструмент, который превращает голос в реалистичные аудиоэффекты

Generate Sound Effects считывает звукоподражание голосом и генерирует аудиодорожку на основе услышанного.

Adobe добавила в Firefly новый ИИ-инструмент под названием Generate Sound Effects — он превращает звукоподражание голосом в реалистичные аудиоэффекты. Помочь нейросети понять, что нужно сгенерировать, также можно с помощью текстового промпта.

«Просто введите простой текстовый промпт, чтобы создать нужный звуковой эффект. Хотите ещё больше контроля? Используйте голос, чтобы управлять синхронизацией и интенсивностью звука. Firefly учитывает энергию и ритм вашего голоса, чтобы точно расположить звуковые эффекты там, где они должны быть, — сопоставляя действие в вашем видео с кинематографическим ритмом»

— блог Adobe

Инструмент работает на основе Project Super Sonic, который Adobe представила осенью 2024 года. Он не подходит для генерации речи, но справляется с другими звуками, которые может имитировать человек.

Сейчас Generate Sound Effects доступен в бета-версии на сайте Adobe Firefly. В России сервис официально не работает.

Ранее Adobe также выпустила приложение Firefly на Android и iOS.