UARU
UARU

Google Lumiere: все, що потрібно знати про мультимодальну модель штучного інтелекту для створення відео

- Реклама -
Модель штучного інтелекту для створення відео Lumiere дає користувачам можливість використовувати для послідовного редагування відео методи на основі тексту, – зазначили в Google.

У компанії Google представили нову мультимодальну модель штучного інтелекту «Lumiere» для створення відео. У Google зазначили: «Lumiere – це модель для створення відеоконтенту на основі тексту, розроблена для синтезу відеоматеріалів, які відображають реалістичні, різноманітні та узгоджені рухи».

Компанія звертає особливу увагу на те, що дана модель полегшує процес створення контенту та використання застосунків для редагування відео, таких як застосунки для перетворення зображень на відео, створення відео в живописі та створення стилізованого відео.

Згідно з інформацією від Google, модель Lumiere використовує для створення відео архітектуру Space-Time u-Net (STUNet). Використовуючи цю архітектурну конструкцію, модель обробляє всі кадри у відео відразу, замість того, щоб генерувати ключові кадри, а потім заповнювати відсутні кадри за допомогою моделей тимчасової надроздільності (TSR), яка є типовою для чинних відеогенераторів.

Підписуйтесь на Mediasat в Telegram: тут найцікавіші новини зі світу технологій

У Google заявили, що Lumiere генерує всю часову тривалість відео відразу, застосовуючи як просторову, так і часову зменшувальну та збільшувальну дискретизацію. На практиці це означає, що модель спочатку генерує відео з повною частотою кадрів у низькій роздільній здатності, а потім покращує створене відео за допомогою моделі просторової суперроздільності (SSR) для отримання кінцевого результату.

У дослідницькій статті, присвяченій попередньому огляду можливостей Lumiere, компанія Google стверджує, що зразки відео, створені моделлю штучного інтелекту, мають довжину 80 кадрів із частотою 16 кадрів за секунду, тобто, фактично це фрагменти тривалістю у 5 секунд. На початку згенероване за допомогою нової моделі відео має роздільну здатність 128 x 128, а потім за допомогою SSR масштабується до роздільної здатності 1024 x 1024.

Як стверджують у компанії Google, модель створення відео Lumiere також дозволяє користувачам застосовувати для послідовного редагування відео методи редагування зображень із використанням тексту як основи. Наприклад, наявна в моделі функція Cinemagraphs дозволяє користувачам для створення відео анімувати певну область зображення. Для генерації стилізованого відео модель Lumiere може генерувати відео в обраному стилі, використовуючи одне еталонне зображення, надане користувачем.

- Реклама -

Якщо ви знайшли помилку, будь ласка, виділіть фрагмент тексту та натисніть Ctrl+Enter.

Борис Скуратівський
Борис Скуратівський
Журналіст, медіа-експерт та «літописець» історії українського радіо. За освітою – філолог (мав навчати діточок розмовляти, читати й писати англійською мовою, а також – любити українську мову та літературу, але так вже склалося, що несу знання дорослим і поважним людям, інформуючи їх про новини зі світу радіо, телебачення та суміжних технологій). За розвитком телебачення і радіо в Україні уважно слідкую з 1990-го року (коли почали з’являтися перші недержавні мовники) – спочатку робив це як пасивний спостерігач, а з лютого 1997 року, коли на шпальтах кіномузичного тижневика «П’ятниця» вперше вийшла моя рубрика «Новини радіо», - вже в якості журналіста. Згодом в різні роки співпрацював з газетою «Хрещатик», а також галузевими журналами «Телерадіокур’єр», «Телемир», «Медиа-Эксперт» та низкою інших видань. З 1998 по 2001 рік працював на радіостанції «Радіо РОКС – Україна», де вперше отримав можливість вивчати життя радіо, так би мовити, «зсередини». Згодом протягом певного часу працював редактором-наповнювачем сайту радіостанції «ХІТ FM», а потім співпрацював ще з низкою радіостанцій в якості копірайтера. З 1999 року веду власний інтернет-портал ProRadio.Org.Ua – один з перших україномовних ресурсів для фахівців в Україні, який став продовженням моєї газетної рубрики «Новини радіо» і повністю присвячений темі радіомовлення в Україні. Люблю класичний хард-рок, ціную оригінальність та нестандартність. Цікавлюсь історією, лінгвістикою, сучасним українським кінематографом та психологією.
- Реклама -

Читайте також

Чи запрацює в Україні eSIM на Apple Watch? Ось що кажуть оператори

Попри перспективи розвитку технології, запуск підтримки eSIM на смартгодинниках в Україні поки що не є першочерговим пріоритетом для операторів.

Більшість українців дратують дзвінки з невідомих номерів – дослідження Rakuten Viber

Дані опитування показують, що 53% українців ніколи не відповідають на дзвінки з невідомих телефонних номерів без попередження.

Meta представила власну потужну мовну модель ШІ та інструмент для генерації зображень

Компанія Meta Platforms випустила ранню версію своєї найновішої великої мовної моделі штучного інтелекту під назвою Llama 3.

МЗС запускає ШІ-аватар для озвучення офіційних заяв

Як повідомляє Forbes, відомство розробило ШІ-аватар на ім'я Вікторія, який з 19 квітня починає озвучувати офіційні заяви МЗС стосовно українців за кордоном.

Олеся Оленицька очолила напрям корпоративних комунікацій у «Київстар»

Олеся Оленицька призначена на посаду директорки з корпоративних зв'язків українського оператора електронних комунікацій "Київстар".

Повідомити про помилку

Текст, який буде надіслано нашим редакторам: