Компания Google представила нейросеть Lumiere, которая может создавать реалистичные видеоролики на основе текстовых подсказок. Новая технология использует архитектуру пространственно-временной диффузии, которая позволяет просчитывать не отдельные изображения, а весь ролик целиком. Это позволяет создавать более плавные и естественные движения, чем в случае с традиционными методами генерации видео. Об этом сообщает snob.ru со ссылкой на сайт проекта.

Lumiere может создавать ролики длиной до пяти секунд. Она также умеет переводить статические изображения в динамические, копировать стиль других видео и редактировать существующие ролики.

Нейросеть, обученная на 30 миллионов видеороликов, пока недоступна для публики. Однако, по мнению журналистов портала VentureBeat, полноценный запуск Lumiere позволит Google конкурировать с другими нейросетями, создающими видео, такими как Runway, Pika и Stability AI.