Содержание
Google Pixel 4 и Pixel 4 XL могут похвастаться лучшими в мире программными функциями и возможностями камеры, что, в частности, возможно благодаря включению Pixel Neural Core. Этот маленький чип находится рядом с основным процессором Pixel 4 для эффективной работы мощных машинных рабочих нагрузок Google. Они варьируются от обработки изображений до распознавания голоса и возможностей транскрипции.
Тем не менее, Neural Core - не первая попытка Google создать собственный процессор машинного обучения для смартфонов. Pixel 2 и 3 поставляются с Pixel Visual Core, разработанным для разгрузки таких задач, как HDR +, для повышения производительности и энергоэффективности. Нейронное ядро Pixel 4 основано на этом фундаменте с улучшенными возможностями и выбором новых вариантов использования.
Не пропустите: вот что может сделать Astro режим Pixel 4
Как работает нейронное ядро Pixel?
Google еще не поделился информацией о том, что именно происходит внутри ее Neural Core. Тем не менее, мы знаем, как работает его ядро предыдущего поколения и какие методы обычно используются в процессорах машинного обучения (ML).
В отличие от традиционного процессора, созданного для обработки широкого спектра вычислительных задач, процессоры машинного обучения (NPU), такие как Neural Core, оптимизированы для решения нескольких конкретных сложных математических задач. Это делает их больше похожими на цифровые сигнальные процессоры (DSP) или графические процессоры (GPU), но оптимизированные для конкретных операций, используемых алгоритмами машинного обучения.
Слияние с многократным накоплением - это очень распространенная операция по обработке изображений и голоса, которую вы не найдете в широкомасштабной поддержке внутри процессора. В отличие от современных 32- и 64-разрядных процессоров, эти операции выполняются с размерами данных всего 16, 8 и даже 4 бита. Пользовательские аппаратные блоки необходимы для поддержки этих операций с максимальной эффективностью.
Neural Core ускоряет алгоритмы изображения и голоса, которые работают менее эффективно на процессоре или графическом процессоре.
Neural Core встраивает выделенные арифметико-логические блоки в аппаратные средства для быстрой обработки этих инструкций с минимальным энергопотреблением, вместо того, чтобы выполнять несколько циклов ЦП. Чип, скорее всего, состоит из сотен этих ALU в нескольких ядрах, с общей локальной памятью и микропроцессором, контролирующим планирование задач.
Google почти наверняка оптимизировал свои последние разработки аппаратного обеспечения с помощью своих программных алгоритмов Assistant, Voice и Imaging. Зависимость от возможностей ALU Neural Core объясняет, почему новейшие функции фотосъемки Pixel 4 не смогут найти применение на старых телефонах.
Что может сделать Нейронное Ядро?
Похоже, что Neural Core является ключевым компонентом в ряде новых функций, упакованных в Google Pixel 4 и Pixel 4 XL. Эти улучшения в основном связаны с обработкой изображений и голоса.
Что касается фотографии, список включает элементы управления двойной экспозицией, режим астрофотографии, предварительный просмотр HDR + в режиме реального времени и ночной прицел. Google Pixel 4 выполняет регулировку двойной экспозиции и HDR + в режиме реального времени, чтобы пользователи могли видеть результаты своих снимков, прежде чем нажать кнопку спуска затвора. Это указывает на значительное увеличение вычислительной мощности для изображений по сравнению с Pixel 3.
Кроме того, эти телефоны вводят основанный на обучении баланс белого в систему камер, которая фиксирует желтые оттенки, часто связанные с снимками при слабом освещении. Съемка с множественной экспозицией, обнаружение неба и комбинирование изображений используются для режима Astro Night Sight, требующего огромного количества обработки и умения обнаружения изображений. Наконец, функция «Частые лица» в Pixel 4 определяет и рекомендует лучшие фотографии людей, которых вы часто фотографируете.
Pixel 4 также имеет обновленный помощник, спортивные улучшенные языковые модели, которые теперь могут работать непосредственно на устройстве, а не в облаке. Новые голосовые функции также включают в себя продолжение разговоров, транскрипцию аудио через приложение Recorder и улучшенное распознавание речи. Neural Core также, вероятно, играет роль в технологии 3D-разблокировки лица телефона.
Волна будущего
Google Neural Core - это самый мощный в отрасли продукт для смартфонов, позволяющий более эффективно редактировать изображения в реальном времени, чем раньше. Google гордится своими ведущими в отрасли технологиями машинного обучения, и основные преимущества Pixel 4 зависят от результатов этих инвестиций.
Однако Pixel 4 - не единственный смартфон с мощным процессором машинного обучения. Все смартфоны на базе Snapdragon 855 оснащены специальным оборудованием для машинного обучения. Хотя у Google явно разные потребности и, возможно, даже более мощные требования к своим смартфонам. Аналогичным образом, Kirin 990 от Huawei может похвастаться двумя встроенными NPU, достаточно мощными для видео-эффектов в режиме реального времени и многого другого.
Аппаратное обеспечение машинного обучения быстро становится краеугольным камнем флагманских возможностей смартфонов в области изображений, видео и ИИ. Google, с его Pixel 4 и Neural Core, находится прямо в верхней части пакета.
Далее: Пиксельные камеры Google вообще не пытаются быть камерами
