Создание видео с помощью нейросети Яндекса: инструкция по работе с «Шедеврумом»

Что такое «Шедеврум» и как он появился

«Шедеврум» — это приложение от Яндекса, запущенное в апреле 2023 года. Изначально оно позволяло генерировать изображения по текстовому описанию, а затем добавило возможность создавать текстовые посты с иллюстрациями. Уже к августу 2023 года, по данным компании, приложение установили более 5,8 миллиона пользователей на iOS и Android, что сделало его одним из самых популярных ИИ-сервисов в России.

Нейросеть, лежащая в основе «Шедеврума», содержит около 5 миллиардов параметров и обучалась на 330 миллионах примеров пар «картинка — текстовое описание». Это позволяет ей понимать запросы на русском языке и генерировать контент, адаптированный под локальную аудиторию.

Генерация видео стала логичным расширением функционала. В августе 2023 года Яндекс первым на российском рынке запустил технологию создания коротких роликов прямо в приложении. На момент запуска функция работала в тестовом режиме, но уже тогда позволяла создавать четырёхсекундные видео с частотой 24 кадра в секунду.

Как работает генерация видео в «Шедевруме»

Процесс создания видео в «Шедевруме» отличается от полностью автоматической генерации, которую используют некоторые западные сервисы. Вместо того чтобы сразу выдавать готовый ролик, приложение предлагает пользователю пройти несколько этапов.

Сначала вы описываете текстом то, что хотите увидеть. Например, «закат на море» или «кот в шляпе». Нейросеть анализирует запрос и генерирует четыре варианта первого кадра будущего видео. Из этих вариантов нужно выбрать один, который станет основой для ролика.

Затем приложение предлагает набор анимационных эффектов. Нейросеть берёт выбранное изображение, создаёт серию его изменённых версий и объединяет их с помощью выбранного эффекта. Таким образом, видео строится не с нуля, а на основе статичной картинки, что даёт пользователю больше контроля над результатом.

Доступные эффекты анимации

На момент запуска в «Шедевруме» было доступно семь эффектов анимации. Каждый из них создаёт определённый тип движения:

• Зум — плавное приближение или отдаление камеры.
• Таймлапс — ускоренная смена кадров, имитирующая течение времени.
• Полёт — эффект движения камеры вперёд, как будто вы летите над сценой.
• Панорама — горизонтальное перемещение камеры, создающее ощущение обзора.
• Вращение — поворот изображения вокруг своей оси.
• Подъём — движение камеры вверх, открывающее новые детали.
• Морфинг — постепенное плавное изменение изображения, трансформация объектов.

Выбор эффекта зависит от того, какой смысл вы хотите вложить в ролик. Например, для динамичного клипа подойдёт зум или вращение, а для спокойного пейзажа — панорама или таймлапс. Важно понимать, что эффекты применяются к уже выбранному кадру, поэтому сочетание «правильного» изображения и подходящего движения даёт наилучший результат.

Технические параметры и ограничения

Сгенерированные в «Шедевруме» видео имеют фиксированную длину — четыре секунды. Частота кадров составляет 24 кадра в секунду, что соответствует стандарту кинематографа и обеспечивает плавность движения. Готовый ролик можно сохранить в формате MP4, что упрощает его использование в других приложениях и на платформах.

Важно учитывать, что на момент запуска функция работала в тестовом режиме. Это означало, что генерация видео была доступна только активным пользователям «Шедеврума», которые регулярно пользовались приложением. При этом просматривать результаты в общей ленте могли все пользователи. Такое ограничение было введено для постепенного нагружения серверов и сбора обратной связи.

Также стоит помнить, что видео генерируется на основе выбранного первого кадра, поэтому качество итогового ролика напрямую зависит от того, насколько удачным получилось изображение. Если первый кадр содержит артефакты или не соответствует ожиданиям, лучше перегенерировать его до применения эффекта.

Пошаговая инструкция по созданию видео

Чтобы создать видео в «Шедевруме», выполните следующие шаги:

1. Установите приложение — скачайте «Шедеврум» из App Store или Google Play и войдите в свой аккаунт Яндекса.
2. Перейдите в режим генерации видео — в интерфейсе приложения выберите опцию создания видео (обычно она находится рядом с генерацией изображений).
3. Сформулируйте запрос — опишите текстом, что должно быть на видео. Чем точнее описание, тем лучше нейросеть поймёт задачу. Например, вместо «кот» напишите «рыжий кот играет с клубком ниток на фоне окна».
4. Выберите первый кадр — из четырёх предложенных вариантов выберите тот, который лучше всего подходит под вашу идею.
5. Выберите эффект анимации — определите, какое движение должно быть в ролике: зум, панорама, морфинг и т.д.
6. Дождитесь генерации — нейросеть создаст видео на основе выбранного кадра и эффекта. Обычно это занимает несколько секунд.
7. Сохраните или опубликуйте — после генерации вы можете сохранить видео в формате MP4 или опубликовать его в ленте «Шедеврума», чтобы поделиться с другими пользователями.

Если результат не устраивает, вы можете изменить запрос, выбрать другой первый кадр или эффект и попробовать снова. Экспериментирование — ключ к получению качественного ролика.

Примеры промтов для генерации видео

Качество видео во многом зависит от того, как вы сформулируете запрос. Вот несколько примеров промтов, которые можно использовать в «Шедевруме»:

• «Закат на море, волны набегают на берег, небо в оранжевых тонах» — для спокойного пейзажа с эффектом панорамы.
• «Кот в шляпе сидит на стуле, вокруг летают бабочки» — для сюрреалистичного ролика с морфингом.
• «Автомобиль едет по гоночной трассе, пыль из-под колёс» — для динамичного видео с зумом.
• «Художник рисует картину, мазки кисти видны крупным планом» — для процесса творчества с эффектом подъёма.
• «Ребёнок играет с игрушечным поездом, комната в тёплых тонах» — для уютного ролика с таймлапсом.

Старайтесь добавлять детали: освещение, цвета, действия, окружение. Это помогает нейросети создать более точное изображение, которое станет основой для видео. Избегайте слишком абстрактных формулировок — чем конкретнее запрос, тем предсказуемее результат.

Где использовать сгенерированные видео

Короткие ролики из «Шедеврума» могут найти применение в самых разных сферах. Вот несколько идей:

• Социальные сети — видео можно использовать как динамические аватарки, сторис или посты в Instagram*, TikTok, VK. Четырёх секунд достаточно, чтобы привлечь внимание.
• Музыкальные клипы — ролики могут стать основой для клипов, особенно если добавить их в цикл или наложить музыку.
• Презентации — анимированные вставки оживят слайды и сделают выступление более запоминающимся.
• Реклама — короткие видео подходят для баннеров и таргетированной рекламы, где важна динамика.
• Личные проекты — от поздравительных открыток до арт-экспериментов.

Важно помнить, что контент, созданный в «Шедевруме», можно использовать в коммерческих целях, но для этого нужно отправить запрос через форму обратной связи в приложении. Ответ, как правило, приходит в течение пяти рабочих дней. Это позволяет легально использовать сгенерированные видео в бизнесе.

Ограничения и особенности тестового режима

На момент запуска генерация видео в «Шедевруме» имела ряд ограничений. Во-первых, функция была доступна не всем пользователям, а только активным — тем, кто регулярно создавал изображения и посты. Это было сделано для того, чтобы протестировать технологию на заинтересованной аудитории и избежать перегрузки серверов.

Во-вторых, длина видео ограничена четырьмя секундами, что может быть недостаточно для полноценного сюжета. Однако это компенсируется возможностью создавать серию роликов и монтировать их в более длинное видео с помощью сторонних редакторов.

В-третьих, качество видео зависит от сложности запроса. Нейросеть может неправильно интерпретировать абстрактные описания или выдавать артефакты на изображении, которые затем переносятся в видео. В таких случаях рекомендуется упростить запрос или изменить эффект.

Наконец, стоит учитывать, что «Шедеврум» — это российский сервис, и его нейросеть обучена преимущественно на русскоязычных данных. Это означает, что запросы на русском языке обрабатываются лучше, чем на английском или других языках.

Сравнение с другими нейросетями для видео

На рынке существует множество инструментов для генерации видео с помощью ИИ, например Synthesia, Rephrase.ai, Pika Labs и другие. В отличие от них, «Шедеврум» предлагает уникальный подход: вместо полной генерации с нуля он использует двухэтапный процесс — создание первого кадра и последующую анимацию. Это даёт пользователю больше контроля и снижает риск получения непредсказуемого результата.

Кроме того, «Шедеврум» полностью бесплатен и не требует подписки, в то время как многие западные сервисы предлагают только ограниченный бесплатный тариф. Однако функциональность «Шедеврума» ограничена: нет возможности генерировать видео с диалогами или сложными сценариями, как в Synthesia, где можно создавать видео с виртуальными ведущими.

Для российских пользователей «Шедеврум» также удобен тем, что не требует VPN или иностранной оплаты. Это делает его доступным инструментом для быстрого создания коротких анимационных роликов без специальных навыков.

Будущее генерации видео в «Шедевруме»

На момент написания статьи функция генерации видео в «Шедевруме» находилась в тестовом режиме, но уже демонстрировала значительный потенциал. Яндекс активно развивает свои нейросети, и можно ожидать, что в будущем появятся новые эффекты, увеличение длины видео и улучшение качества генерации.

Учитывая, что «Шедеврум» уже стал популярным среди миллионов пользователей, расширение функционала видео может привлечь ещё больше аудитории. Возможно, в будущем появятся возможности для создания более длинных роликов, добавления звука или даже интеграции с другими сервисами Яндекса, такими как Яндекс Музыка или Яндекс Диск.

Пока же пользователи могут экспериментировать с существующими возможностями и использовать их для творческих и коммерческих проектов. Главное — помнить о правилах использования контента и своевременно запрашивать разрешение на коммерческое использование через форму обратной связи.

Вопросы и ответы