В обществе Фраунгофера из Германии, широко известном в мире благодаря вкладу, сделанному в развитие формата MPEG – технологии компрессии, используемой в MP3 аудио-файлах и MP4 видео – недавно переключили внимание на очередную технологию из мира медиа: виртуальную реальность. В прошлом году организация представила доступную гарнитуру виртуальной реальности, а в настоящее время готова предложить программное обеспечение для компрессии видео нового поколения, в котором используется стандарт MPEG-OMAF. Это первая VR-технология, позволяющая вести потоковую трансляцию видео с углом обзора 360 градусов в сетях 5G.
Основанный во многом на предложенных обществом Фраунгофера технологиях компрессии видео, стандарт MPEG-OMAF разбивает свёрнутое видео на множество плиток-фрагментов, сжатых в различном разрешении. Выше на картинке использованы фрагменты с заливкой, которые должны указывать на площади, передаваемые в низком разрешении, а остальные фрагменты передаются в высоком разрешении.
В отличие от стандартных видео, которые передаются потоком с сервера в одном избранном разрешении, VR-видео динамически используют фрагменты-плитки высокого разрешения в тех местах, на которые смотрит зритель, и фрагменты низкого разрешения для областей, которые находятся вне поля его зрения. При изменении положения головы зрителя гарнитура или дисплей запрашивают другой микс потоковых фрагментов, оптимизированных для текущего фокуса зрения зрителя.
Данный «трюк» позволяет продолжать передавать поток панорамного видео, уделяя максимальное внимание передаче тех фрагментов, которые просматривает зритель. Он идёт рука об руку с недавно предложенным глубоким рендерингом, который должен максимально улучшить передачу в реальном времени 3D-графики пользователям виртуальной реальности, гарантируя зрителям возможность при повороте головы продолжать видеть что-то боковым зрением – пускай даже в более низкой чёткости.
Международная организация по стандартизации сотовой связи 3GPP приняла стандарт MPEG-OMAF для потоковой передачи контента виртуальной реальности в сетях в 5G, поэтому он, вероятно, будет поддерживать множество видеопотоков виртуальной реальности с 360-градусным обзором – точно так же, как MP3 и MP4 были основой для передачи цифрового аудио и видео предыдущего поколения. В настоящее время при передаче 360-градусных VR-видео через сети 4G и сети Wi-Fi, как правило, используется низкое разрешение, а сами видео страдают от общих артефактов сжатия и высокой задержки, которые могут устранить новые стандартные сети и сети с более высокой пропускной способностью.
В обществе Фраунгофера демонстрируют возможности новой технологии, используя комбинацию из JavaScript, браузера Safari от компании Apple, WebGL API для рендеринга и HEVC видеокодек. Техническое видео доступно здесь. Исходный код для проигрывателя JavaScript, а также инструкции по созданию контента, совместимого со стандартом, доступны для скачивания с GitHub.