В первой части статьи были рассмотрены яркие примеры использования AR в телевидении и перспективы развития VR. Вторая часть будет интересна для тех, кто хочет копнуть глубже и разобраться в деталях, не будучи специалистом в сфере. Ведь если говорить о виртуальной реальности, встречается много малознакомых или незнакомых понятий и терминов.
Иногда различные типы видео и опыта путают между собой, принимая за VR стереоскопическое видео 360. Путаница происходит тогда, когда виртуальная реальность построена на основе реальных съемок и изображений, или наоборот, когда видео 360 делают на основе выдуманного мира: например, в мире компьютерной игры «устанавливают» виртуальную камеру с 360-градусным обзором, и затем записывают сам процесс игры. Кажется, что вы в виртуальной реальности, но все же это видео 360.
Сбиться столку можно и при просмотре дополненной реальности (Augmented reality), которую путают с виртуальной и смешанной (Mixed Reality). Конечно, многие скажут: «Это же очевидно! Совсем разные вещи!». Скорее всего таких профи статья не удивит. Но попытать счастья стоит.
Часть 2
Краткое содержание:
- Степени свободы 3DOF и 6DOF: круг обзора человека и возможность двигаться в пространстве
Для понимания разницы опыта просмотра в различных технологиях, мы должны выяснить, какие возможности наблюдения нам предоставляют: можем ли мы только поворачивать голову влево/вправо, вверх/вниз или также передвигаться в пространстве, не теряя картинку. Все это включено в понятие степени свободы (Degrees of Freedom).
- Как мы видим мир всегда: понятия окклюзии, параллакса движения и стереоскопичности
- Как мы видим мир в гарнитуре 3DOF и 6DOF
- Видео 360 VR
- Стереоскопическое видео/изображение 3D
- Разница между VR, AR, MR – виртуальной, дополненной, смешанной реальностями
- Особенности производства. Преимущества и недостатки VR и видео 360
Cтепени свободы 3DOF и 6DOF
DOF (Degrees Of Freedom, степени свободы) – это количество направлений, в которых объект может перемещаться/вращаться в трехмерном пространстве. Гарнитура для VR в формате 3DOF может отслеживать ориентацию вашей головы, зная куда вы смотрите. Получаем три оси вращения: качание головой (yaw), поворот/наклон влево и вправо (roll) и наклон вперед/назад (pitch). Гарнитуры с шестью степенями свободами 6DOF будут отслеживать и ориентацию, и положение, получая информацию куда вы смотрите, а также где вы находитесь в пространстве. Такое отслеживание называют позиционным.
ВЫВОД: если вы можете только вращать головой на 360 градусов, наклонять ее вперед и назад, но не можете прыгать в стороны или спускаться/подниматься по лестнице, у вас есть только 3 степени свободы – 3DOF. Именно такая свобода и предполагается при просмотре видео 360.
Реализовать 3DOF легче, так как вращение относительно легко определить и отслеживать даже с помощью большинства телефонов. Они имеют необходимое оборудование – датчики акселерометра и гироскопа.
Для полноценной виртуальной реальности необходимы все шесть степеней свободы, следовательно – позиционное отслеживание. C позиционным отслеживанием, необходимым для 6DOF, все сложнее. Для просмотра такого виртуального контента необходима гарнитура, которая сможет точно с высокой чувствительностью отслеживать ваше положение. Большинство автономных/мобильных VR-гарнитур на рынке на данный момент 3DOF. Фактически, только в первые месяцы 2018-го на рынок стали выходить 6DOF автономные гарнитуры (для интересующихся – Vive Focus, Oculus Santa Cruz и Pico Neo).
Для того, чтобы лучше разобраться, как создаются новые выдуманные миры, следует вспомнить или узнать, как мы воспринимаем мир реальный.
Как мы видим мир всегда
Благодаря чему мы видим мир? При помощи света, цвета, получения объемного изображения и движения объектов. Человек (в здоровом состоянии) обладает способностью бинокулярного и стереоскопического зрения. Бинокулярность – способность одновременно чётко видеть изображение предмета обоими глазами. Не всегда бинокулярность означает способность видеть в стерео. Так, например, у хамелеона глаза управляются мозгом независимо друг от друга. Благодаря этому он наблюдает за разными объектами разными глазами независимо. У человека же при стереоскопическом зрении в мозгу формируется объёмное изображение объекта.
Итак, люди и некоторые животные анализируют глубину изображения и расстояние по нескольким признакам.
Окклюзия и параллакс движения. Я выбрала эти признаки, так как мы сильно на них полагаемся. И, чего уж греха таить, так как до работы над статьей я не смогла бы ответить, что они собой представляют.
Окклюзия – это признак, который обеспечивает нам эффект глубины, когда один наблюдаемый предмет частично закрывает другой. На иллюстрации несмотря на то, что большая часть белого треугольника отсутствует, зрительная система «достраивает» изображение, чтобы воссоздать общую структуру, причем одновременно возникает иллюзия удаленности треугольника от трех кругов.
Параллакс движения – это кажущееся относительное смещение близких и более далеких предметов. Например, если наблюдатель будет двигать головой влево и вправо или вверх и вниз. Самый простой пример – поднимите большой палец руки перед собой и взгляните на него сначала правым, а потом левым глазом. Другой пример – явления, наблюдаемые через боковое стекло быстро движущегося автомобиля. Наблюдателю кажется, что объекты, расположенные выше точки, на которой он зафиксировал взгляд, движутся в направлении движения автомобиля. Напротив, объекты, расположенные ниже точки фиксации, движутся в противоположном движению автомобиля направлении.
При восприятии объектов каждый глаз видит двумерное изображение. Оба изображения проецируются на сетчатку с небольшим различием. Именно это различие вместе с другими признаками дает восприятие глубины – стереоскопичность. Несмотря на то, что изображение предметов на сетчатках глаз двумерное, человек видит мир трехмерным, то есть он может воспринимать глубины пространства стереоскопическим зрением. Оцените важность этого явления для координации движений и восприятия пространства, закрыв один глаз и попытавшись вдеть нитку в иголку.
Обогатившись базой терминов, вернемся к VR.
Как мы видим мир с гарнитурой 3DOF, 6DOF![](https://mediasat.info/wp-content/uploads/2018/07/DOF-example-1.gif)
Человек с гарнитурой 6DOF VR может свободно и естественным образом перемещаться в виртуальном пространстве. Все происходит так же, как в реальном мире. Вы можете смотреть на объекты под разными углами, вы можете наклоняться над или под ними, обходить объекты. Все натурально, так как есть все необходимые признаки для вашего зрения.
С гарнитурой 3DOF у вас отбирают некоторые из ваших способностей. Вы можете смотреть вокруг, но как будто приклеены к одной точке. И все бы ничего, если бы вы были неподвижны в ногах. Но даже когда мы неподвижны, например, сидим, мы совершаем движения головы, что создают тот же эффект параллакса, упомянутый выше. В 3DOF представьте, что к вашей голове приклеили весь мир и он двигается вместе с вами. Все объекты будут находиться на одном расстоянии от ваших глаз.
Неестественный способ взгляда на мир с гарнитурой 3DOF иногда создает не очень благоприятное влияние на человека. Некоторые не заметят его вовсе, у других может возникнуть головокружение, усталость глаз или просто общий дискомфорт. Играет роль и длительность сеанса. Большинство мобильных VR-сеансов исчисляются в минутах. Этого недостаточно для того, чтобы вызвать симптомы для большинства людей. Однако, поскольку индустрия VR развивается, будут появляться игры/приложения, в которых эта проблема может стать более острой.
Видео 360 ≠ VR
Видео 360 иногда по ошибке включают в категорию VR. Такую ошибку допускают, как правило, так как видео 360 можно просматривать в гарнитуре виртуальной реальности. Но нелепо утверждать так только из-за используемого инструмента, так как это все равно что утверждать: «Я сижу в машине, значит я должно быть еду».
Видео 360 можно просматривать по-разному. Например, на телефоне в ленте Facebook, используя свой палец, чтобы проскроллить и получить перспективу на 360 градусов. Можно смотреть и на Youtube, с помощью мышки прокручивая видео.
Даже если вы будете смотреть в гарнитуре VR, при наличии качественных ощущений вам не будет хватать звука и полной свободы действий, которую может обеспечить истинный 6DOF VR. Нет возможности взаимодействовать с тем, что вас окружает. Видео 360 имеет три степени свободы = 3DOF. Ощущение полного присутствия не сможет обеспечить ни видео 360, ни стереоскопическое видео, ни 3D.
Теперь рассмотрим разницу стереоскопического видео и настоящего 3D.
Стереоскопическое видео/изображение 3D
Про стереоскопическое зрение мы уже поговорили. Теперь разберемся, действительно ли нам предоставляют видео 3D как обещают. Понятие 3D используются повсюду: 3D фильмы, 3D дисплеи и т.д. В большинстве случаев все это стереоскопический контент, а не настоящий 3D.
Cтереоскопические изображение или видео – те, что сняты с двух углов, подражая нашему зрению, нашим глазам.
Пример volumetric video
На демо участники могут не только свободно перемещаться, но и видеть абсолютно все детали объекта, куда ни заглянут. Такие технологии на сегодняшний момент безумно дороги (стоимость камеры $ 250 тыс. и выше), а итоговые размеры файлов составляют около 3 терабайт/минута. Так что придется подождать десяток лет, чтобы эти новшества стали более доступны.
СДЕЛАЕМ ВЫВОД: в каких случаях мы смотрим видео 360, а в каких VR.
Видим ВИДЕО 360, если это:
– реальная моноскопическая съемка (объекты не объемные, нет стереоэффекта), мы можем только поворачивать голову на 360 градусов.
– реальная стереоскопическая/объемная съемка (запись видео с нескольких углов, что дает стереоэффект), которую можно смотреть в гарнитуре для VR и видеть почти реальную картинку, но это по-прежнему видео 360 без свободы передвижения
– искусственная картинка/анимация, созданные компьютером, но просматриваются только как запись. В данном случае вы можете быть только зрителем, который смотрит фильм/компьютерную игру/анимацию с конечной длительностью. Есть свобода только крутить головой (или использовать повороты гаджета), оглядываясь по сторонам, не взаимодействуя ни с чем. Например:
Если при просмотре вы являетесь только зрителем – это видео 360.
Видим VR, если это:
– искусственный не реальный мир и анимация, с полной свободой передвижения и неограниченным временем участия
– реальные съемки с добавлением 3D графики с полной свободой передвижения и времени в отличии от видео 360. Это может быть стереоскопическое или истинное 3D видео.
Если вы видите реальные съемки или полностью созданный компьютером мир, можете не только вращать головой, но и свободно передвигаться в пространстве, и вы не ограничены по времени – это VR.
Различия VR/AR/MR – виртуальная,
дополненная, смешанная
Определиться в этих трех видах можно довольно просто, ответив на несколько вопросов:
- Если, одевая специальную гарнитуру, вы уже не видите ваше реальное окружение, в котором вы в данный момент находитесь, перед вами – VR. Если вы даже при использовании гарнитуры, остаетесь в том же помещении, на той же улица и т.п., значит перед вами AR либо MR.
- Разницу между двумя последними реальностями можно понять, обратив внимание, как размещается цифровой объект в пространстве (анимированная овечка, робот, зомби и что-любо другое, с чем вам посчастливилось столкнуться). Ключевой момент заключается в том, что цифровой контент не прикреплен к пространству. То-есть, если виртуальный объект парит в воздухе, это значит, что он из дополненной реальности. Дополненная реальность не меняет окружение человека, а лишь привносит в него искусственные элементы.
В MR же есть привязка к положению в реальном мире. В этом случае в мир добавляются виртуальные предметы, которые прикреплены к своему месту в пространстве для того, чтобы вы воспринимали их как реальные.
Подсуммируем:
AR – «живая» реальность вокруг вас с «наклеиванием» графики поверх вашего настоящего мира
MR-«живая» реальность вокруг вас с внедрением графики в ваш настоящий мир, т.е. объекты уже не наклеиваются поверх вашей картинки, а расставляются в реальном мире.
ВЫВОД: Если вы находитесь в своем реальном мире, вы в AR или MR. Если анимированные объекты или графика не учитывают положение объектов в пространстве, висят в воздухе или у кого-то на голове – это AR. Если же они вдруг прячутся за мебель, прыгают на нее – вы в MR.
Рассмотрев разные виды контента, кратко рассмотрим особенности производства.
Особенности производства.
Преимущества и недостатки VR и видео 360
Среди преимуществ видео 360, однозначно, более легкое и дешевое производство и доступность гаджетов, необходимых для просмотра. Среди недостатков – низкое разрешение. Формата 4К недостаточно для производства четкого изображения, когда его необходимо растянуть, чтобы покрыть 360 градусов. Требуется 8К или даже 16К форматы, что затрудняет процесс съемки, монтажа и проигрывания. Вдобавок, видео, как правило, 30 или 60 кадров в секунду. Для сравнения, для VR необходимо минимум 90 кадров в секунду, в противном случае у зрителя может возникать боль в глазах или головокружение.
Видео 360 трудно редактировать после того как все отснято. Можно сделать цветокоррекцию или поменять текстуру 3D модели в несколько кликов. Исправлять же видео затруднительно и дорого. В итоге, видео можно относительно дешево снять, но в долгой перспективе процесс может подняться в стоимости.
Стереоскопическое видео 360 так же имеет ряд проблем: стереоэффект будет удачным и естественным только, если дистанция между двумя камерами совпадает с фактической дистанцией между вашими глазами – межзрачковым расстоянием (IPD – the interpupillary distance).
Даже если вам повезет иметь IPD, который соответствует настройке стереоскопической камеры, видео 360 по-прежнему может казаться странным, а масштаб часто ошибочным. Это связано с тем, что стереоскопический эффект возможен только при определенных углах обзора, когда вы смотрите в том же направлении, что и физические линзы на фотоаппарате. При сведении стереоскопического изображения с нескольких камер погрешности неизбежны.
В производстве VR основными преградами остаются два момента:
- Для производителей сложный, трудоемкий и затратный процесс создания идеального изображения для максимального погружения в виртуальную реальность
- Для пользователей это недоступность либо заоблачные цены на необходимые гаджеты. Т.е. даже при условии создании сказочного виртуального мира донести его до широкой публики в исходном качестве на данный момент невероятно сложно.
В заключении хочется сказать, что в виртуальный мир хочется погружаться все глубже и глубже. Чем больше вдаешься в детали, тем больше понимаешь, какими темпами мчится развитие. И мы не всегда знаем, в каком направлении будут следующие шаги. Возможно, скоро будут другие виды реальностей. А может, вскоре понятие реальности станет относительным.
Следите за новинками и создавайте свои!