Galagram.com Статьи о китайских смартфонах Pixel Visual Core — скрытый чип в новых смартфонах Google Pixel

Pixel Visual Core — скрытый чип в новых смартфонах Google Pixel

213
2
Поделиться
Процессор обработки изображений в Google Pixel 2

На днях появилась новость, о том что в смартфонах Pixel 2 и Pixel 2 XL Google установила скрытый и неактивный чип Pixel Visual Core. По заявлению самой компании, данный чипсет предназначен для компиляции изображений с HDR+ в 5 раз быстрее, при этом он будет в 10 раз энергоэффективней, по сравнению с программной реализацией.

Pixel Visual Core также будет работать для обработки сложных изображений с помощью машинного обучения. Несмотря на то, что в данный момент чип не активен, данная возможность появится с выходом бета-версии Android 8.1 Oreo для разработчиков. Самое интересное, что данный со-процессор был полностью разработан компанией Google. А это значит, что в будущем компания будет разрабатывать не только софт, но и свое железо.

Что такое Pixel Visual Core

Машинное обучение и гетерогенный подход к вычислению, требует отдельного оборудования для более эффективного выполнения данных задач. Большинство производителей процессоров, например Qualcomm, много лет занимаются этим и уже встраивают такие разработки, как процессор сигнальной обработки изображения (ISP) и цифровой процессор сигналов (DSP).

Эти все технологии применяются в смартфонах Pixel под управлением Snapdragon 835. Компания Qualcomm уже занимается оптимизацией таких компонентов для более энергоэффективной работы вместе с искусственным интеллектом и обработкой изображений. Очевидно, что Google хочет либо дополнить эти компоненты или же, просто, превзойти их.

Создание отдельного автономного модуля для обработки изображений (IPU) вместо программной реализации — это очень необычно. Для того чтобы все компоненты работали идеально, надо тесно интегрировать их с процессором и видеоускорителем. Это поможет избежать проблем задержки данных. А т.к. компания не может менять или дополнять процессоры Qualcomm, она прибегла к созданию собственного отдельного чипа Pixel Visual Core.

Как сделан Pixel Visual Core

Процессор обработки изображений Pixel Visual Core

Прежде чем разобраться в том, как работает процессор, давайте узнаем из каких компонентов он состоит. В нем есть встроенная память LPDDR4 для быстрого чтения и записи данных без необходимости перехода к основной памяти устройства. Шина PCIe соединяет ее с внешним процессором.

На стороне обработки изображений чип состоит из восьми ядер IPU. Каждое из которых состоит из 512 вычислительных блоков ALU. Вместе они могут выполнять 3 триллиона операций в секунду. Visual Core, по-видимому, был специально разработан для выполнения многочисленных математических операций над изображениями с миллионами пикселей. Поэтому данный чип может быть настроен под быструю обработку снимков, сделанных на смарфон.

Эффект боке камеры Google Pixel

Google также заявляет, что ключевым компонентом эффективности IPU является точное взаимодействие аппаратного и программного обеспечения. Аппаратное обеспечение для Pixel Visual Core, скорее всего, может контролировать гораздо больше деталей программного, чем в обычном процессоре. Все это делает данный чипсет достаточно гибким и более эффективным.

Это все достигается благодаря сложному и дорогостоящему программированию. Чтобы как то помочь разработчикам, используется компилятор Google. Программисты также могут применять Halide для обработки изображений и TensorFlow для машинного обучения.

Данные изображений с камеры, поступающие в виде 10, 12 или 14-битных чисел, тонов, обработки цвета, шумоподавления, резкости и других параметров требуют широкой параллельной обработки информации. Таким образом, Visual Core от Google может сократить количество цифровой обработки и выполнить гораздо больше математических операций параллельно.

Режим HDR+ на Google Pixel

И это, не учитывая новые и более продвинутые технологии, например, такой как HDR+. Строение ALU хорошо подходит для задач машинного обучения и нейронных сетей, а это также требует большого количества цифровой обработки данных с камеры.

Возможности алгоритмов обработки изображений

Алгоритмы создания эффекта боке на Google Pixel

Как было сказано выше, пока в Pixel 2 и Pixel 2 XL данный чипсет не активен. Но Google уже интенсивно использует различные алгоритмы обработки для некоторых функций при создании изображений. Но вся эта обработка станет в несколько раз быстрее при включении Google Pixel Visual Core.

Эффект боке камеры Google Pixel

В своем недавнем посте в блогах, компания объясняет работу по выравниванию и объединению нескольких кадров с высоким динамическим диапазоном в режиме серийной съемки. Этот метод используется на всех последних телефонах Nexus и Pixel. На данный момент понятно, что чипсет ускорит это действие и будет меньше потреблять мощности.

Алгоритмы создания эффекта боке на Google Pixel

Google уже сейчас использует машинное обучение и нейронные алгоритмы в своей камере. Например, при создании эффекта глубины резкости. Камера сканирует лица, тела и создает маску переднего и заднего фона. Это достигается благодаря комбинации данных системы Phase-Detect Auto-Focus (PDAF), которая находится в двойном пикселе. После всех этих действий, маски объединяются и рассчитывается глубина боке в конечном изображении.

В итоге

Многочисленные позитивные впечатления пользователей от фотографий, сделанных на смартфоны Pixel, являются основным торговым приоритетом компании. Очевидно, что Google инвестирует не только в программные алгоритмы для улучшения качества изображения, но и в аппаратные решения.

Pixel Visual Core, встроенный в новые смартфоны, улучшит производительность и энергоэффективность существующих алгоритмов обработки фотографий Google, а также может обеспечить новые функции и возможности в ближайшем будущем.

Имея огромный доступ к данным в облачных хранилищах и контента для обучения нейронных сетей, у Google получилось создать программное обеспечение для улучшения качества изображений. На данный момент, не существует аналогов данной технологии у других производителей смартфонов. А создание аппаратного решения, говорит о том, что Google опережает всех своих конкурентов в этой отрасли.

Собственный процессор облегчит адаптацию программного обеспечения с продуктами компании. Пока не известно, захочет ли гигант развивать это и создавать собственные чипсеты для своих смартфонов или же Google достаточно того, что он имеем сейчас. В любом случае, будет интересно наблюдать за перспективами этой отрасли.

2 КОММЕНТАРИИ

  1. чего так неприкрыто наврали про скрытую опцию..
    опять следить за вами будут, но теперь более удобно.

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here