Влияние VR и AR на искусство: лекция о дополненной реальности

тмы искусственного интеллекта, которые позволяют отслеживать движения рук, ног и даже пальцев. Мы можем совершить движение рукой и схватить какой-то предмет в виртуальной реальности – система все это будет детектировать и говорить аватару, что делать.

Скорее всего, в ближайшем будущем мы с вами будем общаться в виртуальном пространстве так же естественно, как и в реальной жизни, воспроизводя даже эмоции на лице. Существуют специальные накладки и датчики, которые помогают камере увидеть движения нашего рта. Чтобы процесс общения был еще естественнее, можно считывать движения наших глаз. Это сложная задача и очень важная, ведь технологии отслеживания движения глаз можно применять в разных сферах. Такая технология может помочь, например, людям, которые не могут управлять руками.

Роскосмос сейчас разрабатывает специальные vr-шлемы с возможностью поддержки запахов. То есть ты не просто находишься в виртуальном пространстве, ты можешь вдыхать, например, запах океана или цветов.

Как устроено VR-производство

Как vr- и ar-технологии уже повлияли на производство фильмов? У нас сняли такой мультсериал, он про лесных зверей, называется «Тайны медовой долины». Во время съемок использовали движок Unreal Engine. Это программа, которая позволяет с помощью алгоритмов организовывать среду вокруг персонажей, устанавливать свет и управлять их движениями в режиме реального времени. Как проходили съёмки: у актера был специальный костюм, очки виртуальной реальности и персонаж, которого он отыгрывает. Все действия персонажа изначально попадали в игровое пространство. Удобно и режиссеру, так как он сразу видит ту картинку, которая находится перед ним, и актерам, потому что они могут моментально прочувствовать сцену, понять, что им делать, видеть то же, что видит персонаж.

Создатели признавались, что использование технологий виртуальной реальности позволило заметно сократить сроки производства. Раньше для того, чтобы снять какой-то большой сериал, нужно было потратить колоссальное количество времени, огромное количество ресурсов. Теперь же все просто – например, если меняется какая-то история, ты моментально можешь это в виртуальном пространстве поменять, что-то подкорректировать. Финальное качество картинки при этом не страдает.

Виртуальное пространство совершило настоящий переворот в кино. Раньше все сцены снимались на фоне зеленого экрана. Чтобы актер прочувствовал габариты, ему давали специальные декорации, обклеенные датчиками. Все остальное – окружение, свет и прочее – добавлялось на этапе постпродакшена, то есть уже после того, как все сцены были сняты. Многие говорили, что у такого метода было множество минусов – что-то приходится переснимать, что-то вырезать, возникают споры о том, как должна выглядеть та или иная сцена.

Теперь же мы используем при съемках светодиодные экраны. Это огромный изогнутый экран со множеством светодиодов, который может показывать объемную и реалистичную картинку. Перед ним стоит актёр, и он чувствует, где находится, ему проще работать, а режиссеру проще подкорректировать что-либо.

Сейчас в Санкт-Петербурге снимают сериал «Чёрный айсберг».  Есть павильон, в котором стоит большой экран, перед ним играют свои роли актёры. У оператора на камере установлен специальный трекер, который отслеживает движение камеры – чтобы камера в виртуальном пространстве перемещалась вслед за виртуальной камерой. Фон на экране генерируется в режиме реального времени, режиссёр сразу видит, что все меняется, не нужно менять декорации или делать какую-то паузу.

Технология не просто рабочая, она совершила переворот в кинопроизводстве. Как говорят операторы, 95% того, что они снимают именно с помощью вот такой динамической камеры, сразу идёт в продакшен.

Металюди для метакино

Считается, что виртуальная реальность не такая уж и реалистичная. Но это всего лишь заблуждение. Например, компания Epic Games научилась создавать очень реалистично выглядящих компьютерных людей. Они называют их meta human, «мета-люди». Этими людьми можно пользоваться, они действительно как настоящие. Им можно даже передавать свои эмоции – достаточно включить камеру на телефоне, она считает ваше лицо, и «мета-человек» повторит их.  

Это открывает перед нами, теми, кто занимается кинопроизводством, большие перспективы. Есть специальный конструктор, в котором можно создавать своих виртуальных людей. Эти люди вполне могут заменить и актеров в фильме, который вы снимаете – можно сократить количество актеров массовки, заменив их цифровыми двойниками. Также эта технология пригодится тем, кто занимается созданием виртуальных симуляторов для медицины. Задача vr-специалиста, да и вообще любого трехмерщика – взять реальный предмет и сделать его цифровую копию, максимально приближенную к оригиналу не только внешне, но и ведущую себя как оригинал. И те результаты, которые уже достигнуты, впечатляют. Основная его задача в том, чтобы взять реальный предмет из живого мира и переместить его в виртуальное пространство таким образом, чтобы он сохранил все реальные свойства. Когда мы сейчас видим таких «мета-людей», что столь похожи на людей реальных, то это просто поражает. Вы уже сейчас можете пользоваться данной технологией для того, чтобы разработать свою игру, фильм или мультфильм.

Что до копирования окружения, то мы уже умеем делать фотореалистичные рендеры, технология называется физически корректный рендеринг. Не только внешний вид, но и свет, и все материалы работают точно так же, как бы они работали в реальной жизни. Виртуальное пространство становится практически неотличимо от реальности.

VR и искусство

В Москве есть потрясающий музей, который называется «Центр МАРС», в этом центре российские художники разрабатывают различные перфомансы. Перфоманс – это какое-то живое действие, участником которого может стать зритель. Там была инсталляция, которая называется «Психоз», по мотивам романа зарубежной писательницы. Ты садишься в кресло, на этом кресле есть специальные датчики, тебе дают vr-шлем, и начинается история про то, как ты куда-то двигаешься. То есть ты реально в физическом пространстве начинаешь перемещать колёсики и двигаешься в виртуальном пространстве.

Больше всего поражает то, что происходит слияние твоей реальной жизни с виртуальной. Применение этой технологии как раз позволило нам стать частью этого перфоманса, увидеть совершенно другую картину, превратиться из зрителя в действующее лицо. А ведь в будущем можно перейти от перфомансов к фильмам. Мы можем делать фильмы и мультфильмы, где ты будешь главным героем. Где с тобой взаимодействуют персонажи, аватары. И это совершенно другая эпоха в кино, которую мы увидим в ближайшем будущем.

Некоторое время назад появился очень интересный феномен, который называется витуберы. Витуберы — это те же самые ютуберы, которые снимают свои ролики. Только вместо того, чтобы показывать свое настоящее лицо, они снимают в своих видео анимированного 3D-аватара. Они погружаются в виртуальное пространство и с помощью своего аватара меняют декорации, приглашают туда своих гостей, беседуют с ними. Например, есть такой VR-подкаст «Ныряем». Автор подкаста с помощью своего аватара рассказывает различные истории о технологиях простым языком. У него есть аватар, пускай и не такой фотореалистичный, как у металюдей. Но при этом все равно очень приятно наблюдать за персонажем, который находится где угодно, например в Японии.

Close the world. Open the next.

Новые технологии упрощают и удешевляют производство любого медиаконтента, при этом он становится только лучше. А реальные артисты постепенно переходят в виртуальный мир.

Рэпер Lil Nas провел концерт в игре Roblox, послушать его выступление пришли 33 миллиона человек. В реальной жизни просто невозможно провернуть что-то подобное, ни один стадион мира столько людей не вместит, да и на открытом пространстве вряд ли получится разместить их всех с комфортом. В игре Fortnite проводили концерты Трэвис Скотт и Ариана Гранде. То есть люди сейчас заходят в игры не просто, чтобы в них поиграть. Сейчас уже есть кинотеатры в виртуальном пространстве, где желающие подключаются и смотрят фильмы, находясь словно бы рядом друг с другом. Мы посещаем концерты, мы зарабатываем деньги, мы действительно уже потихонечку переходим именно в виртуальное пространство.

Еще в виртуал понемногу переходит и мода. Например, Gucci уже разрабатывает свою цифровую одежду. Уже упоминавшаяся выше игра Roblox, в которой есть множество различных «миров», между которыми ты можешь путешествовать. Вроде бы детская игра, но такой модный дом, такая большая компания создали там свой «мир», Gucci Garden. Ты можешь туда зайти, посмотреть на различную одежду, погулять, купить что-то для своего аватара – и для этого даже была разработана уникальная линейка одежды.

Может ли VR полностью заменить живое общение? Хотя со времен пандемии мы привыкли к тому, чтобы общаться онлайн, живое общение, как и прежде, важно для нас. Даже наоборот, его ценность возросла. Молодые люди стали чаще общаться вживую, вместе ездить куда-то. С другой стороны, компьютерные игры существуют много лет, и есть люди, которые сидят в них постоянно. В Японии же даже есть феномен, когда человек просто не выходит никуда, только сидит за компьютером. Так что не думаю, что от живого общения мы откажемся.

Многие учёные утверждают, что метавселенная — это всего лишь один из способов развития интернета, и далеко не вариант, что все сложится именно так, как мы предсказываем. Но сейчас мы уже на пороге грандиозных перемен. Когда-то в девяностых годах люди сидели за компьютерами в специально отведённых местах. Далее, где-то с 2005 года, интернет стал социальный – мы могли взять его с собой. Мы носим с собой мобильные телефоны и практически постоянно находимся в Интернете. Web 3.0, метавселенная, станет возможна, когда интернет будет вокруг нас, а мы будем его частью, когда у нас будет свой цифровой двойник, защищенный технологией блокчейн (чтобы никто не украл наши данные).

Виртуальная реальность уже рядом с нами и потихоньку проникает во все сферы жизни. Но для того, чтобы почувствовать себя частью метавселенной, необязательно иметь vr-шлем. Если вы чувствуете через экран телефона или через экран компьютера, что вы находитесь внутри, если у вас есть эффект присутствия, то это тоже метавселенная.