Содержание

• Бюджет ограниченной мощности
• Пропускная способность и высокое разрешение
• Низкая задержка и дисплейные панели
• Аудио и датчики
• Разработчики и программное обеспечение
• Заворачивать

Мы, наконец, глубоко погружаемся в революцию, как некоторые могли бы выразиться, с появлением на рынке множества аппаратных и программных продуктов и излишних ресурсов, стимулирующих инновации. Тем не менее, прошло более года с тех пор, как в этом месте запускается основной продукт, и мы все еще ждем, пока это убийственное приложение сделает виртуальную реальность массовым успехом. Пока мы ждем, новые разработки продолжают делать виртуальную реальность более жизнеспособным коммерческим вариантом, но есть еще ряд технических препятствий, которые необходимо преодолеть, особенно в области мобильного виртуального реальности.

Бюджет ограниченной мощности

Наиболее очевидной и хорошо обсуждаемой проблемой, стоящей перед мобильными приложениями виртуальной реальности, является гораздо более ограниченный бюджет мощности и тепловые ограничения по сравнению с аналогом настольного ПК. Запуск интенсивных графических приложений от батареи означает, что для сохранения заряда батареи требуется более низкое энергопотребление и эффективное использование энергии. Кроме того, близость обрабатывающего оборудования к владельцу означает, что тепловой баланс также нельзя увеличить. Для сравнения, мобильные устройства обычно работают с лимитом менее 4 Вт, в то время как настольный VR GPU может легко потреблять 150 Вт и более.

Широко признано, что мобильная виртуальная реальность не будет соответствовать настольному оборудованию для необработанного энергопотребления, но это не означает, что потребители не требуют погружения в трехмерное изображение с четким разрешением и высокой частотой кадров.

Широко признано, что мобильная виртуальная реальность не будет соответствовать настольному оборудованию для необработанного энергопотребления, но это не означает, что потребители не будут требовать погружения в 3D-изображения с четким разрешением и высокой частотой кадров, несмотря на более ограниченную мощность бюджет. Между просмотром 3D-видео, исследованием воссозданных на 360 градусов мест и даже играми, есть еще множество вариантов использования, подходящих для мобильной виртуальной реальности.

Если оглянуться на свой типичный мобильный SoC, это создает дополнительные проблемы, которые реже оцениваются. Несмотря на то, что мобильные SoC могут иметь приличную восьмиъядерную архитектуру процессора и некоторую заметную мощность графического процессора, эти чипы невозможно использовать при полном наклоне из-за упомянутых ранее энергопотребления и тепловых ограничений. На самом деле, процессор в мобильном экземпляре виртуальной реальности хочет работать как можно меньше времени, освобождая графический процессор, чтобы использовать большую часть бюджета с ограниченным энергопотреблением. Это не только ограничивает ресурсы, доступные для игровой логики, физических расчетов и даже фоновых мобильных процессов, но также накладывает бремя на важные задачи виртуальной реальности, такие как отрисовка вызовов для стереоскопического рендеринга.

Индустрия уже работает над решениями для этого, которые не относятся только к мобильным. Multiview рендеринг поддерживается в OpenGL 3.0 и ES 3.0 и был разработан участниками из Oculus, Qualcomm, Nvidia, Google, Epic, ARM и Sony. Multiview позволяет выполнять стереоскопический рендеринг всего одним вызовом отрисовки, а не по одному для каждой точки обзора, что снижает требования к процессору, а также сокращает работу вершин графического процессора. Эта технология может повысить производительность на 40-50%. В мобильном пространстве Multiview уже поддерживается рядом устройств ARM Mali и Qualcomm Adreno.

Еще одно новшество, которое ожидается в будущих продуктах для мобильных VR, - это рендеринг. Используемый в сочетании с технологией слежения за глазами, рендеринг рендеринга облегчает нагрузку на графический процессор, предоставляя только точную фокусную точку пользователя при полном разрешении и уменьшая разрешение объектов в периферийном зрении. Прекрасно дополняет систему человеческого зрения и может значительно снизить нагрузку на GPU, тем самым экономя энергию и / или высвобождая больше энергии для других задач CPU или GPU.

Пропускная способность и высокое разрешение

Несмотря на то, что вычислительная мощность в мобильных VR-ситуациях ограничена, платформа по-прежнему подчиняется тем же требованиям, что и другие платформы виртуальной реальности, включая требования к дисплеям с малым временем ожидания и дисплеями с высоким разрешением. Даже те, кто смотрел виртуальные дисплеи с разрешением QHD (2560 x 1440) или разрешением гарнитуры Rift 1080 × 1200 для каждого глаза, вероятно, будут немного не в восторге от четкости изображения. Псевдоним особенно проблематичен, учитывая, что наши глаза находятся так близко к экрану, а края выглядят особенно неровными или неровными во время движения.

Несмотря на то, что вычислительная мощность в мобильных VR-ситуациях ограничена, платформа по-прежнему подчиняется тем же требованиям, что и другие платформы виртуальной реальности, включая требования к дисплеям с малым временем ожидания и дисплеями с высоким разрешением.

Решение проблемы грубой силы состоит в том, чтобы увеличить разрешение экрана, а 4K - это следующая логическая последовательность. Тем не менее, устройства должны поддерживать высокую частоту обновления независимо от разрешения, при этом 60 Гц считается минимальным, а 90 или даже 120 Гц - гораздо более предпочтительным. Это создает большую нагрузку на системную память: в два-восемь раз больше, чем у современных устройств. Пропускная способность памяти в мобильной виртуальной реальности уже более ограничена, чем в настольных продуктах, которые используют более быструю выделенную графическую память, а не общий пул.

Возможные решения для экономии пропускной способности графики включают использование технологий сжатия, таких как ARM и стандарт AMD Adaptive Scalable Texture Compression (ASTC), или формата сжатия текстур Ericsson без потерь, оба из которых являются официальными расширениями OpenGL и OpenGL ES. ASTC также поддерживается в аппаратном обеспечении в новейших графических процессорах ARM Mali, SoC от Nvidia Kepler и Maxwell Tegra и новейших интегрированных графических процессорах Intel, а также позволяет сэкономить более 50% полосы пропускания в некоторых сценариях по сравнению с использованием несжатых текстур.

Использование сжатия текстур может значительно снизить пропускную способность, задержку и объем памяти, необходимые для 3D-приложений. Источник - АРМ.

Другие методы также могут быть реализованы.Использование тесселяции может создать более детально выглядящую геометрию из более простых объектов, хотя и требует некоторых других значительных ресурсов графического процессора. Отложенный рендеринг и прямое уничтожение пикселей позволяют избежать рендеринга закупоренных пикселей, в то время как архитектуры Binning / Tiling можно использовать для разделения изображения на более мелкие сетки или фрагменты, каждый из которых отображается отдельно, и все это может сэкономить пропускную способность.

В качестве альтернативы или, предпочтительно, дополнительно, разработчики могут жертвовать качеством изображения, чтобы уменьшить нагрузку на пропускную способность системы. Плотность геометрии может быть принесена в жертву, или для снижения нагрузки используется более агрессивный выбор, а разрешение вершинных данных может быть снижено до 16-битного, по сравнению с традиционно используемой 32-битной точностью. Многие из этих методов уже используются в различных мобильных пакетах, и вместе они могут помочь уменьшить нагрузку на пропускную способность.

Мало того, что память является основным ограничением в пространстве мобильного VR, но также является довольно большим потребителем энергии, часто равным потреблению процессора или графического процессора. За счет экономии пропускной способности и использования памяти портативные решения виртуальной реальности должны продлить срок службы батареи.

Низкая задержка и дисплейные панели

Говоря о проблемах с задержкой, до сих пор мы видели только VR-гарнитуры с OLED-дисплеями, и это в основном из-за быстрого переключения пикселей менее миллисекунды. Исторически сложилось так, что жидкокристаллические дисплеи ассоциировались с проблемами ореолов с очень высокой частотой обновления, что делало их весьма непригодными для виртуальной реальности. Тем не менее, ЖК-панели с очень высоким разрешением все еще дешевле производить, чем аналоги OLED, поэтому переход на эту технологию может помочь снизить цену на VR-гарнитуры до более доступного уровня.

Движение к задержке фотона должно быть меньше 20 мс. Это включает в себя регистрацию и обработку движения, обработку графики и звука и обновление дисплея.

Дисплеи - это особенно важная часть общей задержки системы виртуальной реальности, часто определяющая разницу между кажущимся впечатлением и опытом ниже среднего. В идеальной системе задержка движения к фотону - время, необходимое для перемещения головы и реагирования дисплея - должно быть менее 20 миллисекунд. Очевидно, что 50 мс дисплей здесь не годится. В идеале панели должны быть длиной менее 5 мс, чтобы учесть задержку датчика и обработки.

В настоящее время существует компромисс между затратами и производительностью, который благоприятствует OLED, но это может скоро измениться. ЖК-панели с поддержкой более высокой частоты обновления и низкого черно-белого времени отклика, которые используют передовые технологии, такие как мигающие задние фонари, могли бы хорошо соответствовать требованиям. В прошлом году Japan Display продемонстрировала именно такую ​​панель, и мы можем увидеть, что другие производители также анонсируют аналогичные технологии.

Аудио и датчики

В то время как многие из вопросов, связанных с виртуальной реальностью, связаны с качеством изображения, иммерсивная виртуальная реальность также требует высокоразрешающего трехмерного звука и датчиков с низкой задержкой. В мобильной сфере все это должно быть сделано в рамках того же ограниченного бюджета мощности, который влияет на процессор, графический процессор и память, что создает дополнительные проблемы.

Ранее мы уже касались вопросов задержки датчика, при которых движение должно регистрироваться и обрабатываться как часть предела задержки движения до фотона менее 20 мс. Если учесть, что гарнитуры VR используют 6 степеней движения - вращение и рыскание в каждой из осей X, Y и Z - плюс новые технологии, такие как отслеживание глаз, существует значительное количество постоянных данных для сбора и обработки, причем все с минимальными задержка.

Решения, позволяющие максимально снизить эту задержку, требуют комплексного подхода, причем аппаратное и программное обеспечение могут выполнять эти задачи параллельно. К счастью для мобильных устройств, использование выделенных процессоров датчиков с низким энергопотреблением и постоянно включенной технологии очень распространено, и они работают на довольно низком энергопотреблении.

Для звука 3D-позиционирование является техникой, давно используемой в играх и тому подобном, но использование передаточной функции, связанной с головой (HRTF), и обработка свертки с реверберацией, которые необходимы для реалистичного позиционирования источника звучания, являются довольно трудоемкими задачами. Хотя это может быть выполнено на ЦП, выделенный процессор цифровых сигналов (DSD) может выполнять эти типы процессов гораздо более эффективно, как с точки зрения времени обработки, так и мощности.

Сочетая эти функции с требованиями к графике и отображению, о которых мы уже упоминали, становится очевидным, что использование нескольких специализированных процессоров является наиболее эффективным способом удовлетворения этих потребностей. Мы видели, как Qualcomm в значительной степени использует возможности разнородных вычислений своей флагманской и новейшей мобильных платформ Snapdragon среднего уровня, которые объединяют различные процессоры в единый пакет с возможностями, которые прекрасно подходят для удовлетворения многих из этих потребностей мобильных VR. Вероятно, мы увидим тип пакетов питания в ряде мобильных VR-продуктов, включая автономное портативное оборудование.

Разработчики и программное обеспечение

Наконец, ни одно из этих аппаратных достижений не принесло бы пользы без программных пакетов, игровых движков и SDK для поддержки разработчиков. В конце концов, мы не можем позволить каждому разработчику заново изобретать колесо для каждого приложения. Поддержание низких затрат на разработку и максимально быстрой скорости является ключевым моментом, если мы собираемся увидеть широкий спектр приложений.

SDK, в частности, важны для реализации ключевых задач обработки VR, таких как асинхронная синхронизация, коррекция искажения объектива и стереоскопический рендеринг. Не говоря уже об управлении питанием, температурой и обработкой в ​​разнородных аппаратных установках.

К счастью, все основные производители аппаратных платформ предлагают разработчикам SDK, хотя рынок довольно фрагментирован, что приводит к отсутствию кроссплатформенной поддержки. Например, у Google есть VR SDK для Android и специальный SDK для популярного движка Unity, в то время как у Oculus есть Mobile SDK, созданный совместно с Samsung для Gear VR. Важно отметить, что группа Khronos недавно представила свою инициативу OpenXR, целью которой является предоставление API для всех основных платформ как на уровне устройств, так и на уровне приложений, чтобы упростить межплатформенную разработку. OpenXR может увидеть поддержку в своем первом устройстве виртуальной реальности где-то до 2018 года.

Заворачивать

Несмотря на некоторые проблемы, технология находится в стадии разработки, и в некоторой степени уже здесь, что делает мобильную виртуальную реальность работоспособной для ряда приложений. Mobile VR также имеет ряд преимуществ, которые просто не применимы к настольным аналогам, что по-прежнему делает платформу достойной инвестиций и интриг. Фактор портативности делает мобильную виртуальную реальность привлекательной платформой для мультимедиа и даже легких игр без необходимости подключения проводов к более мощному ПК.

Кроме того, огромное количество мобильных устройств на рынке, которые все больше оснащены возможностями виртуальной реальности, делает его платформой выбора для охвата самой большой целевой аудитории. Для того чтобы виртуальная реальность стала основной платформой, ей нужны пользователи, а мобильные - самая большая база пользователей.