Google выкатил первый в мире ИИ-генератор видео со звуком — Veo

Google представил ИИ-модель Veo 3 для генерации видео со звуком: она может добавить в видео звуковые эффекты, фоновый шум и даже диалоги, сообщили на сайте Google DeepMind.

Veo 3 понимает контекст кадров, генерирует звуки и синхронизирует их с визуальным контентом. «Veo 3 отлично справляется с подсказками в виде текста и изображений, а также с реальной физикой и точной синхронизацией губ», — отметил вице-президент по продуктам Google DeepMind Эли Коллинз.

Пользователи уже успели потестить новую ИИ-модель: сгенерировали ролики с пением оперной дивы, массовой сценой с перестрелкой, выступлением корреспондента, АСМР и стендапом. И всё это без галлюцинаций (у людей по пять пальцев — да, сложно поверить).

Помимо генерации видео и звуков в Veo 3 стали доступны:

1. Генерация видео по изображениям.

2. Анимация персонажей через пользовательский ввод — использование голоса, жестов и мимики из загруженного видео для анимации персонажей.

3. Возможности управления камерой, среди которых:

   1. указание точных движений камеры;

   2. плавные переходы между кадрами;

   3. дополнение кадра;

   4. добавление новых объектов с сохранением целостности сцены.

4. Функции для управления стилем и персонажами.

5. Сохранение одинакового внешнего вида персонажей в разных сценах.

6. Улучшенное следование промптам — воспроизведение сложных сценариев и последовательностей.

7. Поддержка вывода в разрешении 4K.

В DeepMind сообщили, что используют технологию SynthID, которая позволяет незаметно помечать ИИ-контент водяными знаками для снижения риска появления дипфейков.

Попробовать Veo 3 можно:

• в Google AI Studio за $125 в месяц;

• через приложение Gemini для подписчиков плана AI Ultra за $249 в месяц.

Для России Google AI Studio и Gemini API недоступны.

Veo 3 уже назвали конкурентом генератора Sora от OpenAI. Напомним, OpenAI выкатила Sora в декабре прошлого года. Она генерирует видео на основе текста, изображений, фотографий и нескольких видео.

Может быть интересно:

• Как улучшить качество видео: 5 нейросетей в помощь

• Нейросети для создания видео: 7 инструментов и что они могут

• Нейросеть Qwen — сравнение с DeepSeek и другими чат-ботами. И нужно ли их сравнивать?

Источники: Google DeepMind, CNBC, Google AI for developers, Telegram-канал «в IT и выйти»