UARU

UARU

Google Lumiere: всё, что необходимо знать о мультимодальной модели искусственного интеллекта для создания видео

- Реклама -
Модель искусственного интеллекта для создания видео Lumiere позволяет использовать для последовательного редактирования видео методы на основе текста, – отметили в Google.

В компании Google представили новую мультимодальную модель искусственного интеллекта «Lumiere» для создания видео. В Google отметили: «Lumiere – это модель для создания видеоконтента на основе текста, разработанная для синтеза видеоматериалов, отражающих реалистические, разнообразные и согласованные движения».

Компания обращает особое внимание на то, что данная модель облегчает процесс создания контента и использования приложений для редактирования видео, таких как приложения для преобразования изображений в видео, создания видео в живописи и создания стилизованного видео.

Согласно информации от Google, модель Lumiere использует для создания видеоархитектуры Space-Time u-Net (STUNet). Используя данную архитектурную конструкцию, модель обрабатывает все кадры в видео сразу, вместо того, чтобы генерировать ключевые кадры, а затем заполнять недостающие кадры с помощью моделей временного сверхразрешения (TSR), типичной для существующих видеогенераторов.

Подписывайтесь на Mediasat в Telegram: здесь самые интересные новости из мира технологий

В Google заявили, что Lumiere генерирует всю временную продолжительность видео сразу, применяя как пространственную, так и временную уменьшающую и увеличительную дискретизацию. На практике это означает, что модель сначала генерирует видео с полной частотой кадров в низком разрешении, а затем улучшает созданное видео с помощью модели пространственного супер-разрешения (SSR) для получения конечного результата.

В исследовательской статье, посвящённой предварительному обзору возможностей Lumiere, компания Google утверждает, что образцы видео, созданные моделью искусственного интеллекта, имеют длину 80 кадров с частотой 16 кадров в секунду, то есть фактически это фрагменты продолжительностью в 5 секунд. Изначально сгенерированное с помощью новой модели видео имеет разрешение 128 x 128, а затем с помощью SSR масштабируется до разрешения 1024 x 1024.

Как утверждают в Google, модель создания видео Lumiere также даёт пользователям возможность применять для последовательного редактирования видео методы редактирования изображений с использованием в качестве основы текста. Например, имеющаяся в модели функция Cinemagraphs позволяет пользователям для создания видео анимировать определённую область изображения. Для создания стилизованного видео модель Lumiere может генерировать видео в выбранном стиле, используя одно эталонное изображение, предоставленное пользователем.

- Реклама -

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Борис Скуратовский
Борис Скуратовский
Журналист, медиа-эксперт и «летописец» истории украинского радио. Образование: филолог (должен был обучать детишек английскому языку, а также украинскому языку и литературе, но в итоге просвещаю взрослых дядь и тёть, информируя их о новостях из мира радио, телевидения и сопутствующих технологий). За развитием телевидения и радио в Украине слежу с 1990 года – вначале как пассивный наблюдатель, а с февраля 1997, когда на страницах киномузыкального еженедельника «П’ятниця» впервые вышла моя рубрика «Новости радио», - как журналист. Впоследствии в разное время сотрудничал с такими изданиями, как газета «Хрещатик», а также журналы «Телерадіокур’єр», «Телемир», «Медиа-Эксперт» и рядом других. С 1998 по 2001 год работал на «Радио РОКС – Украина», где впервые получил возможность изучить радио «изнутри». Затем какое-то время работал редактором-наполнителем сайта радиостанции «ХИТ FM», а потом сотрудничал ещё с несколькими радиостанциями в качестве копирайтера. С 1999 года веду собственный интернет-портал ProRadio.Org.Ua, всецело посвящённый теме радиовещания в Украине. Люблю классический хард-рок, ценю оригинальность и нестандартность. Интересуюсь историей, лингвистикой, психологией.
- Реклама -

Читайте также

Мессенджер Viber получил функцию краткого изложения непрочитанных сообщений на базе искусственного интеллекта

Месенджер Viber анонсував запуск нового інструменту із застосуванням технологій ChatGPT для швидкого опрацювання непрочитаних повідомлень у групових чатах.

MEGOGO вводит персонализированные профили и улучшенную систему рекомендаций контента

Нововведение позволяет разделить предпочтения различных членов семьи, ведь каждый получит персональную ленту рекомендаций в соответствии со своими просмотрами.

Google представила альтернативу JPEG – формат Jpegli

Jpegli – это усовершенствованная версия формата JPEG, способная на 35% эффективнее сжимать фотографии высокого разрешения.

СБУ идентифицировала хакеров, причастных к кибератаке на «Киевстар» – дело передадут в Гаагский трибунал

Служба безопасности Украины установила, что масштабную кибератаку на "Киевстар" в декабре 2023 года осуществила хакерская группа SandWorm.

Умер Дэниел Кортни Линч – известный популяризатор интернета

Умер Дэниел Кортни Линч – известный инженер компьютерных сетей, который сыграл ключевую роль в коммерческом развитии интернета.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: