Содержание

• Как работают нейронные сети
• Нейронные сети внутри вашего смартфона
• ИИ может сформировать будущее фотографии

В дополнение к вычислительной фотографии, высококачественному аппаратному обеспечению камеры и процессорам обработки сигналов изображения передовая мобильная фотография все больше опирается на алгоритмы машинного обучения - также известные как искусственный интеллект (ИИ). Этот метод фотографии обещает улучшить качество в стремлении к качеству, подобному DSLR, предлагая новые творческие способы съемки и редактирования изображений и видео.

Ключ к машинному обучению - использование нейронных сетей. Это тип алгоритма, который часто сравнивают с человеческим мозгом. Это сравнение основано на способности нейронной сети обучаться с помощью данных распознавать шаблоны, что позволяет ей проводить высокоточные классификации для сложных типов данных, таких как аудио и изображения.

Когда дело доходит до фотографии, способность наблюдать, учиться, генерировать и классифицировать имеет широкий спектр применений. Эти приложения могут включать в себя такие функции, как построение вычислительной техники фотографии для улучшения алгоритмов постобработки, программный боке в реальном времени с видео 4K или даже полное переключение цветов одежды, которую вы носите.

Как работают нейронные сети

Нейронные сети - чрезвычайно сложная тема, поэтому здесь мы рассмотрим только основы. Для более глубокого чтения, ознакомьтесь с руководствами здесь и здесь.

Нейронные сети состоят из узлов, что является показателем того, где выполняются некоторые вычисления. Каждый узел объединяет входные данные с весом, который усиливает или ослабляет значение этого конкретного узла. Несколько узлов часто работают параллельно, создавая слой узлов, который выполняет большую задачу. Это может быть, например, обнаружение объектов в изображении. Несколько узлов и уровней могут суммироваться и передаваться другим узлам и уровням, образуя более глубокую сеть с более мощными возможностями.

Выходные данные каждого узла и слоя масштабируются как функция вероятности. Рассматривая множество различных функций и атрибутов, нейронная сеть может оценивать входные данные как вероятностное совпадение со всеми ожидаемыми потенциальными выходными данными. Вот как алгоритмы обнаружения изображений решают, будет ли картинка больше похожа на кошку или апельсин, но вы должны сказать ей, что искать в первую очередь.

Нейронные сети не программируются так, как традиционные компьютерные алгоритмы. Вместо этого они обучаются на наборах данных, таких как изображения, звуковые файлы и т. Д. Вес каждого узла постепенно корректируется с течением времени с помощью петли обратной связи, основываясь на том, насколько хорошо сеть справилась с сопоставлением входов с правильными выходами. Это постепенное «изучение» правил требует значительной подготовки, времени и вычислительной мощности, но дает феноменально точные результаты.

Нейронные сети внутри вашего смартфона

Нейронные сети могут работать на различных аппаратных компонентах, включая компоненты процессора и графического процессора, общие для ряда вычислительных устройств, включая ваш смартфон. Однако некоторым нейронным сетям может потребоваться больше вычислительной мощности, чем могут дать эти аппаратные компоненты, а выделенное аппаратное обеспечение может обеспечить оптимальную необходимую обработку.

Например, в мобильной платформе Qualcomm® Snapdragon ™ 855 вы найдете новейший цифровой сигнальный процессор (DSP) Qualcomm® Hexagon ™ 690, который может похвастаться улучшенными модулями векторной обработки и новым ускорителем Tensor, специально предназначенным для задач машинного обучения. Другие мобильные платформы Snapdragon также оснащены компонентом Hexagon DSP с различными возможностями. При этом нейронные сети не ограничиваются просто работой на DSP на Snapdragon и других мобильных платформах. Тип используемого процессора зависит от рабочей нагрузки.

Улучшения машинного обучения Qualcomm Snapdragon 855 по сравнению с предыдущим поколением

Qualcomm Technologies открывает возможности DSP и машинного обучения для сторонних разработчиков через SDK Qualcomm® Neural Processing. Это позволяет приложениям запускать нейронные сети на любом из аппаратных ядер внутри мобильной платформы Snapdragon. Например, смартфоны Google Pixel подключаются к Hexagon DSP и его собственному Visual Core, чтобы ускорить его впечатляющую функцию HDR + фотографии. Qualcomm Technologies работает с поставщиками программного обеспечения, такими как Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho и другими, и поддерживает различные функции, от видео-боке до создания аватаров с использованием машинного обучения, работающего на DSP.

ИИ может сформировать будущее фотографии

Теперь мы знаем, как работают нейронные сети, важный вопрос - что это может сделать для нас и наших фотографий?

Нейронные сети используются для улучшения ряда распространенных алгоритмов фотографии. Например, устранение шумов можно улучшить с помощью обучения, чтобы обеспечить превосходную очистку изображения с учетом конкретной камеры или типа снимка. Аналогичным образом, при слабом освещении нейронная сеть может обнаруживать яркие и темные части изображения, что позволяет улучшить цвет и свет в определенных частях сцены.

Более продвинутые варианты использования все чаще встречаются в фотографии смартфонов. Для увеличения в супер-разрешении используются нейронные сети для объединения нескольких изображений в один снимок высокого разрешения для превосходного цифрового увеличения. Нейронные сети также могут быть обучены для точного сшивания нескольких экспозиций фото для улучшения HDR и ночных снимков.

ИИ-фотография может включать в себя зум с супер-разрешением, боке в реальном времени и улучшенное качество изображения.

Видео может также извлечь выгоду из принятия этой технологии. Обнаружение объектов в режиме реального времени позволяет приложениям вводить программные эффекты боке прямо в видео во время записи. Подобные методы также поддерживают обмен и удаление объектов в реальном времени. Это включает в себя замену фона в видео, изменение или удаление цветов и даже замену предметов одежды или наложение цифровых аватаров непосредственно в ваше видео.

Сила нейронных сетей и искусственного интеллекта в фотографиях варьируется от повышения качества, помогающего сократить разрыв в DSLR, до мощных инструментов для творчества, которые позволяют легко создавать уникальный контент. В любом случае, это мощная технология, которая имеет фундаментальное значение для будущих улучшений, направленных на мобильную фотографию.

Следующий: Международная раздача Google Pixel 3 XL!

Контент, спонсируемый Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine и Qualcomm Kryo являются продуктами Qualcomm Technologies, Inc. и / или ее дочерних компаний.