Американський стартап Tavus показав Griffin — модель, яка в реальному часі веде відеорозмову від імені цифрового аватара. У власному експерименті компанії 26 з 54 учасників після хвилинної бесіди сприйняли версію Griffin-Lite як живого співрозмовника. Попередню систему Tavus за схожих умов прийняв за людину лише один із 41.
Цей результат Tavus називає першим проходженням тесту Тьюринга у форматі відеозв’язку, тобто перевірки, чи здатна машина в розмові видати себе за людину. Понад половина учасників зізналися, що під час бесіди навіть не подумали, ніби співрозмовник може бути не людиною. Ті, хто все ж запідозрив підміну, зазвичай починали сумніватися в перші 20 секунд. Утім, усіх учасників заздалегідь попереджали, що вони говоритимуть з іншою людиною. Тож експеримент показує, наскільки переконливий аватар у короткій розмові, але не доводить, що система витримає цілеспрямовану перевірку.
Відмінність Griffin від попередніх рішень полягає в архітектурі. Раніше такі системи працювали ланцюжком: спершу розпізнавали мовлення, потім передавали текст мовній моделі для відповіді, а та за допомогою синтезатора мовлення озвучувала цифровий аватар. Через це система мусила чекати, поки людина договорить, і лише тоді могла почати відповідати.
Натомість Griffin у Tavus описують як повнодуплексну систему «відео-у-відео», тобто таку, що слухає й відповідає одночасно. Вона складається лише з двох компонентів. Перший із них безперервно стежить за голосом і зображенням співрозмовника та в реальному часі вирішує, коли і як реагувати, оновлюючи оцінку діалогу частіше ніж раз на секунду. Другий синхронно перетворює ці сигнали на звук і відео. Завдяки цьому аватар може кивати, вставляти короткі репліки й змінювати міміку, поки людина ще говорить, а то й почати відповідати раніше. Пауза в мовленні для моделі не обов’язково означає, що співрозмовник закінчив думку. Як така розмова виглядає на практиці, Tavus показала в демонстраційному ролику.
Підписуйтесь на Mediasat у Telegram: тут найцікавіші новини ТБ та телекому
Сама компанія відносить Griffin до моделей взаємодії з людиною (Human Interaction Model, HIM): за її задумом, людина не керує комп’ютером, а працює з ним. Griffin-Lite генерує відео з роздільністю 720p фрагментами по 320 мс і може клонувати голос за десятисекундним записом. Подібні інструменти вже доступні й на масових платформах: навесні YouTube дозволив створювати ШІ-аватари з власним голосом для Shorts.
У порівнянні з чотирма іншими генераторами відео модель Tavus випередила конкурентів за трьома метриками якості зображення — DOVER, FID і THEval. Середня затримка, з якою Griffin-Lite перетворює вхідний звук на відео, на прискорювачі Nvidia H100 становила 0,43 с. Ідеться саме про цей етап, а не про час відповіді всієї системи.
Окрему оцінку моделі провела Nvidia за допомогою набору тестів VideoFDB. За відтворення аудіовізуальної поведінки Griffin-Lite отримала 3,83 бала при людському еталоні 3,92, а в категорії сприйняття — 3,73 бала проти 4,20 у людини та 3,44 у найближчого конкурента. Ці бали за п’ятибальною шкалою виставляє мовна модель відповідно до заданих критеріїв. Вони характеризують окремі сторони спілкування, а не те, чи рівноцінний аватар людині загалом.
Поки що Griffin-Lite доступна обмеженому колу тестувальників. Перед ширшим запуском Tavus має намір доопрацювати запобіжники, зокрема повідомляти співрозмовника, що він говорить зі штучним інтелектом. Сферами застосування системи компанія бачить навчання, репетиції складних розмов і дистанційну підтримку користувачів.
