Нейросети для создания видео: 7 инструментов и что они могут
Создание картинок с нейросетью не попробовал уже только ленивый. А что там с генерацией видео? Всё тихо. Мы протестировали семь инструментов и узнали, что о них думают эксперты.
Чтобы результат был объективным, для всех нейросетей, которые генерируют видео по тексту, мы использовали один и тот же промпт. Кстати, чтобы его создать, можно опираться на проверенные специалистами схемы.
Мы, как правило, создаем промпт по следующей схеме:
Цель видео.
Описание ключевых сцен.
Детальное описание каждой сцены с добавлением тех визуальных и звуковых эффектов, которые нам нужны.
Описание финальной сцены и общего впечатления от видео.
При создании промптов для нейросети, генерирующей видео, я использую такую схему:
Объект (прикрепленная фотография) + описание действий или событий + местоположение или фон + эмоции/настроение героя или ролика + дополнительные детали (одежда, элементы и т. д.).
Мы использовали последний пример, чтобы создать промпт, который будем отправлять всем нейросетям для генерации видео. Получилось так:
Вариант на русском языке: Серая собака + стоит на берегу озера + лето, солнце, зеленая трава + игривая летняя атмосфера + собака наслаждается ветром, зевает, шерсть развевается.
Вариант на английском языке: Gray dog + stands on the shore of the lake + summer, sun, green grass + playful summer atmosphere + dog enjoys the wind, yawns, fur develops.
Ну, и фото собаки в качестве референса.
Для теста мы подобрали максимально разные нейросети:
-
Kandinsky Video — генерация по промптам на русском языке
-
Шедеврум — генерация в приложении
-
Runway ML Gen-2 — генерация видео с заменой лица
-
Genmo — генерация видео высокого качества
-
Luma — генерация реалистичных видео
-
Synthesia — генерация видео с озвучкой
-
Topaz Video Enhance AI — улучшение качества готовых видео
Чем всё это полезно digital-специалистам
Kandinsky Video
Kandinsky Video — бесплатная нейросеть для генерации видео от Сбера.
Сколько стоит: бесплатно.
Водяные знаки: нет.
Генерация по промптам на русском языке: да.
Генерация по тексту: да.
Генерация по фото: да.
Длительность роликов: до 16 секунд.
Форматы: видео (модель генерирует цельное видео), анимация (последовательность картинок, объединенных в видео).
Озвучка: нет.
Возможность улучшения качества другого видео: нет.
Результат: криповый)))
Мы сгенерировали ролик двумя способами: и без фото, и по фото. В обоих случаях нейросеть сделала именно то, что мы у нее просили, но с эффектом зловещей долины — на первом видео у собаки задвоился язык, на втором она поменяла за несколько секунд 3 породы. Да и вообще картинка поехала.
Не удивляйтесь минутным видео — все ролики мы для удобства зациклили. На самом деле они длятся несколько секунд.
Оценка специалистов: неудовлетворительно.
Нейросеть Kandinsky генерирует отличные изображение и ужасные видео. Сколько бы я ни пытался, но так ничего стоящего у меня не получилось создать. Не рекомендую.
Шедеврум
Шедеврум — это мобильное приложение от Яндекса, которое в числе прочего использует YandexGPT.
Сколько стоит: бесплатно.
Водяные знаки в сгенерированном нейросетью видео: нет.
Нейросеть генерирует видео по промптам на русском языке: да.
Длительность роликов: зависит от промпта.
Генерация по тексту: да.
Генерация по фото: нет.
Эффекты: зум, таймлапс, отдаление, панорама, подъем, морфинг, вращение, ручной и т. д.
Накладывает ли нейросеть голос на видео: нет.
Может ли нейросеть улучшить качество другого видео: нет.
Результат: мы получили не видео.
Нейросеть пошла по промпту и сделала практически всё, что мы просили. Основной минус: результат, конечно, нельзя назвать видеозаписью. Скорее это анимированное изображение, гифка.
Runway ML Gen-2
Gen-2 — это нейросеть для генерации коротких роликов от компании Runway AI с широкими дополнительными возможностями.
Бесплатная версия: есть, можно генерировать 25 бесплатных секунд в месяц.
Платная версия: от $12 до $125 в месяц.
Водяные знаки: нет, есть ненавязчивое лого.
Генерация по промптам на русском языке: нет.
Генерация по тексту: да.
Генерация по фото: да.
Эффекты: зум, вращение, панорама, наклон.
Стили: несколько десятков, среди них — аниме, архитектура, кинематограф, лес, макро и др.
Озвучка: нет.
Возможность улучшения качества другого видео: нет.
Возможность замены лица: да.
Результат: сомнительный.
Это первая нейросеть, которая не следовала промпту: на видео вместо одной собаки оказались две. К тому же одна из них отображалась некорректно — картинка поплыла.
Что касается генерации по фото, то тут снова эффект зловещей долины: собака с пустыми глазницами и расплывающейся мордой. Бррр.
Оценка экспертов: неоднозначна.
Эта нейросеть появилась относительно давно и сходу привлекла к себе внимание многих. Но даже спустя годы я бы не стал рекомендовать ее. Главная причина — неестественность видео. Разумеется, никакие нейросети всё еще не способны создавать ролики, неотличимые от реальной съемки. Но в Runway ML Gen-2 объекты получаются жуткими: не только руки у людей, к чему мы привыкли, но и в целом весь видеоряд переливается из одного в другой. В общем, рекомендую пробовать только для тестирования или развлечения.
Мы постоянно работаем с Runway ML Gen-2. Под наши задачи нейросеть подходит больше других. Нам нужно создавать динамичные красивые ролики, быстро их редактировать, пробовать новые идеи + чтобы всё было очень качественным. Gen-2 дает нам это. Из плюсов:
Простота в использовании — с нейросетью можно работать полностью онлайн на платформе.
Дополнительные возможности:
цветокоррекция видео;
удаление и добавление объектов (например, в этой нейросети доступна замена лица на видео);
VFX;
карта глубины;
инструменты для ротоскопирования и композитинга;
«зеленый фон», или, точнее, возможность удалять фон с любого ролика за один клик.
Бесплатная версия.
Есть, конечно, и минусы. Чтобы получить доступ ко всем инструментам, нужна подписка. А возможности для настройки параметров ограничены. Да, это не After Effects, но всё равно удобно.
Genmo
Genmo — нейросеть для генерации видео высокого качества в онлайн-режиме.
Бесплатная версия: есть, можно создать до 100 видео в день длительностью до шести секунд.
Платная версия: $10 в месяц, можно создавать до 1000 видео в день.
Водяные знаки: есть, без них экспортировать видео можно в платной версии.
Генерация по промпт на русском языке: работает.
Генерация по тексту: да.
Генерация по фото: да.
Эффекты: зум, вращение, панорама, наклон.
Дополнительные эффекты: есть.
Озвучка: нет.
Возможность улучшения качества другого видео: нет.
Результат: хороший.
В этом случае мы снова получили то, что просили. И снова ролик можно скорее назвать анимацией, чем видеозаписью. Но зато в высоком качестве.
Оценка экспертов: подойдет для анимирования изображений.
Нейросеть отлично подойдет для простой генерации. Если вам нужно только анимировать движения, это идеальный выбор. По сравнению с Runway ML Gen-2, Genmo выдает результат намного лучше. Артефактов намного меньше, а движения более плавные. Рекомендую.
Luma
Luma AI — нейросеть для создания реалистичных видео и 3D-моделей.
Бесплатная версия: есть, до пяти генераций в день.
Платная версия: $14 хватит на генерацию 120 пятисекундных роликов. Есть и другие тарифы.
Водяные знаки: да.
Генерация по промптам на русском языке: нет.
Генерация по тексту: да.
Генерация по фото: да.
Длительность роликов: до 20 секунд.
Озвучка: нет.
Возможность улучшения качества другого видео: нет.
Результат: достойный.
При генерации по тексту нейросеть учла все требования — в конце концов собака на видео действительно начала двигаться. Реалистично? Максимально — во всяком случае из того, что мы уже видели.
Результат генерации по фото ожиданий не оправдал. Нейросеть впервые запросила два референса для первого и второго кадров. Собаку она практически не анимировала, зато изменила человека на заднем плане и стерла ему лицо.
Оценка экспертов: подойдет для анимации изображений и генерации перебивок для основного контента.
Luma AI превращает изображения в очень реалистичные ролики, которые действительно подходят для множества задач. Например, для создания:
креативной рекламы;
современных арт-объектов и инсталляций;
элементов для артхаусного кинематографа;
анимации и роликов для социальных сетей с необычным сюжетом.
Нейросеть может изобразить то, что сложно снять физически. Например, виды горных хребтов в Гималаях, атмосферу туманного утра в Шотландии. Прекрасно Luma AI воспроизводит инопланетян и фантастических животных.
Есть у нее и свои минусы:
Принцип работы. Видео генерируется длительностью 5 секунд, после чего можно попросить нейросеть добавить еще 5 секунд. Максимально вы сможете дойти до 20 секунд. Но при такой работе нейросеть быстро теряет цельность и логику сюжета. Получить конкретный результат очень сложно. С другой стороны, Luma AI предоставляет огромное поле для творческих экспериментов.
Плохое воспроизведение действий, связанных с мелкой моторикой. Что, в принципе, часто бывает с машинным обучением. Например, сложно будет получить видеоряд, где человек умывается или застегивает пуговицы на рубашке. Пальцы могут в прямом смысле отделиться от ладоней и остаться на одежде.
При использовании Luma AI мы рекомендуем описывать сюжет и желаемый стиль видеоряда. Сейчас лучшие результаты получаются из красивых атмосферных фотографий и простого промпта: movie, cinema shoot. Для усиления результата можно использовать и изображения других нейросетей, например, Midjourney.
Luma может создать 3D-модель, а может — полноценное видео на основе изображения и текста. Из всех нейросетей, которые я тестировал, Luma мне нравится больше всего. Она дает по-настоящему хороший результат. Именно этот сервис я использую для работы, так как мне нужно анимировать объекты. И Luma делает это лучше конкурентов.
Synthesia
Synthesia — нейросеть для генерации видео в стиле «говорящей головы». В роликах спикер, созданный нейросетью, произносит текст, который вы задаете.
Бесплатная версия: есть, в ней доступна генерация трех минут видео в месяц + шесть стандартных аватаров и набор голосов AI на 130+ языках.
Платная версия: от €20 в месяц.
Водяные знаки: да.
Генерация по тексту: да.
Генерация по фото: нет.
Озвучка на русском языке: да, но с акцентом.
Возможность улучшения качества другого видео: нет.
Результат: забавно.
Сгенерированный персонаж даже не выглядит картонно, но говорит с акцентом. Из минусов — в пробной версии видео нельзя скачать. Оно доступно только по ссылке.
Оценка специалистов: подойдет для бизнеса, который создает образовательный контент.
Synthesia — это нейросеть не столько для редактирования, сколько для создания роликов, где на экране присутствует автор. В общем, подойдет для создания лекций, презентаций. Она известна в первую очередь тем, что легко преобразует текстовые промпты в видео и сама озвучивает ролики. Здесь можно сделать аватар, обучить его под себя и использовать затем в создании видео.
Также мне нравится, что в этой нейросети есть встроенный редактор сценариев AI Script Assistant, который работает аналогично с текстовыми ИИ и всегда может дать подсказку.
Topaz Video Enhance AI
Topaz Video Enhance AI — это нейросеть для улучшения качества видео.
Бесплатная версия: есть, условия использования не уточняются.
Платная версия: $299.
Настройки: Upscale, Noise, Grain и другие.
Оценка экспертов: рабочий инструмент для улучшения видео.
В своей работе я постоянно использую нейросети для улучшения качества видео. Topaz Video Enhance AI — мой фаворит. У нейросети множество полезных настроек. Например, Upscale для увеличения разрешения видео, Noise или Grain — для улучшения резкости.
Topaz умеет улучшать качество видео, делает из размытой картинки четкую, применяет шумоподавление. Его можно использовать не только для реалистичных видео, но и для мультипликации или CG-контента. А еще эта нейросеть умеет сглаживать так называемые чересстрочные кадры (деинтерлейсинг), из-за этого ролик становится более плавным, выглядит профессионально.
Чем всё это полезно digital-специалистам
Тем же, чем и другие нейросети — вы автоматизируете процесс создания видео, экономите на привлечении дизайнеров или, как минимум, грамотно используете их ресурс: рутина отдается ИИ, а более креативные задачи — людям.
Но ведь ни один из результатов генерации не оказался идеальным 🤔 Да. Но давайте честно: мы не погружались в детали и на создание каждого ролика тратили несколько минут. Практикуйтесь и получайте результаты, которые можно применять в работе.
Мы генерируем видео для следующих целей:
маркетинговых: рекламные ролики, презентации продуктов;
образовательных: видеокурсы, обучающие материалы;
SMM: ролики для социальных сетей.
Я сгенерированные ролики использую в качестве футажей для видеоконтента. То есть я не создаю всё видео из сгенерированных частей, но добавляю их для разнообразия.
В общем, стоит погрузиться и протестировать. Как минимум, получите удовольствие от того, как картинка оживает. Похихикаете, если она сделает это кринжово. Как максимум, получите новый инструмент привлечения внимания аудитории.
Видеоролики, сгенерированные ИИ, можно и нужно использовать в рекламных объявлениях. Движущаяся картинка — это отличный способ привлечь внимание, а с помощью нейросетей можно делать эту картинку вкусной, динамичной, отвечающей нашим запросам и вызывающей интерес ЦА.
Сейчас сгенерированные видео позволяют пробить баннерную слепоту — это новый мощный инструмент маркетологов.
Кстати, по теме:
-
Как сделать креатив для рекламы с помощью ИИ: cервисы и советы
-
11 контент-задач, которые можно делегировать YandexGPT: разбор с примерами
На этой странице есть элементы, которые могут не отображаться на AMP-страницах.
Комментарии 0
Авторизуйтесь, чтобы оставить комментарий.