Содержание
В последние пару лет реклама виртуальной реальности, безусловно, ослабла из-за сочетания дорогого оборудования, невысокой производительности и укачивания, а также из-за отсутствия пользовательского контента. В настоящее время отрасль застряла в сценарии «курица против яйца», где нехватка потребителей сдерживает инвестиции в высококачественный контент. Для выхода из тупика понадобится более мощное и экономичное аппаратное обеспечение VR для масс.
Arm стремится преодолеть некоторые из этих технологических препятствий с помощью своего первого в мире дисплейного процессора (DPU), разработанного специально для VR: Mali-D77. В двух словах, Mali-D77 разгружает обычные задачи обработки виртуальной реальности из графического процессора, освобождая ресурсы для более высокой частоты кадров, а также помогает уменьшить укачивание.
Внутри руки Мали-D77
Большая часть Mali-D77 основана на Mali-D71 2017 года для флагманских смартфонов и других приложений высокого класса. Он имеет тот же декодер сжатия, масштабирование слоев, поддержку HDR и блоки управления цветом. Тем не менее, новый дизайн был оптимизирован для поддержки разрешений 3K со скоростью 120 кадров в секунду с поддержкой разрешений 4K со скоростью до 90 кадров в секунду.
Основные изменения происходят в виде двух совершенно новых аппаратных ускорителей для приложений виртуальной реальности. Mali-D77 поддерживает аппаратную коррекцию объектива и асинхронную синхронизацию, вместо того чтобы запускать эти алгоритмы на графическом процессоре. Согласно оценке, это может высвободить около 15 процентов ресурсов графического процессора, что может быть использовано для повышения частоты кадров. Перенос этой нагрузки на DPU также обеспечивает экономию полосы пропускания 40% и мощность 180 мВт на уровень VR. Ницца.
Коррекция линз требуется в VR-гарнитурах, чтобы компенсировать кривизну света линз гарнитуры. Бочкообразное искажение применяется к каждому визуализированному кадру, чтобы компенсировать эффект искажения подушкообразных линз. Думайте об этом как о чрезмерной компенсации или «обратном искажении», так что искажение объектива фактически приводит к отображению правильного изображения. Традиционно это делается на GPU, занимая дополнительные циклы и время. Mali-D77 делает все это на DPU.
Кроме того, Mali-D77 выполняет коррекцию хроматической аберрации с использованием аналогичного метода обратного искажения. При таком применении цвета изображения будут отображаться правильно по всему объективу, в том числе в углах, где могут возникнуть искажения цветоделения.
Что такое асинхронный Timewarp?
Коррекция объектива довольно очевидна, но Asynchronous Timewarp немного более сложен. Здесь Arm использует процессор дисплея, чтобы вращать, наклонять и деформировать изображения, чтобы компенсировать движения пользователя, одновременно уменьшая задержку любого графического процессора или другого конвейера дисплея.
В оборудовании текущего поколения отслеживание перемещений по осям X, Y, Z обновляется синхронно с графическим процессором, поскольку графический процессор должен отображать изменение в представлении при каждом перемещении. С помощью Asynchronous Timewarp они больше не обновляются вместе. Вы можете перемещать свою голову между обновлениями кадров GPU, и Mali-D77 может деформировать текущий кадр, чтобы соответствовать движению вашей головы.
Это тонкий эффект, поскольку он длится всего лишь долю секунды между визуализированными кадрами и не устраняет необходимость в быстром рендеринге с частотой кадров. Однако это значительно увеличивает плавность и плавность движения и движения, поскольку обновления могут происходить даже чаще, чем частота кадров графического процессора. Разрыв между движением вашего тела и визуальным обновлением является основной причиной укачивания в VR, поэтому Mali-D77 может очень помочь в этом отношении.
Данные о перемещениях по осям X, Y, Z поступают непосредственно в Mali-D77 от ЦПУ, полностью минуя стадию графического процессора. Это совершенно другой способ работы, и поэтому он требует от разработчиков использования нового набора инструментов и методов разработки. Это, пожалуй, самое большое препятствие с D77. К счастью, инженеры Arm тесно сотрудничают с такими инициативами, как OpenXR, поэтому мы могли увидеть объявление API для упрощенной поддержки разработчиков в будущем.
В целом, Arm Mali-D77 - это разумное и логичное развитие идеи гетерогенных вычислений, помогающее решить некоторые из самых серьезных проблем с виртуальной реальностью. Есть еще другие препятствия в сегментах беспроводной связи, отслеживания и стоимости виртуальной реальности, которые предстоит решить, прежде чем можно будет пересмотреть массовое внедрение, но Mali-D77 помогает устранить некоторые проблемы с производительностью.
