Что такое NPU в смартфоне и зачем он нужен

Наверняка читатели PDALIFE знают об устройстве смартфонов и SoC на которых они базируются немало, но сегодня мы говорим о компоненте, который всегда упоминается вскользь, хотя достоин гораздо большего внимания, ведь в он выполняет для нас немало важных и востребованных задач.

Что такое NPU?

Основа современного смартфона — SoC или система-на-чипе, включающая центральный процессор (CPU), графический процессор (GPU), модули памяти, интерфейсы связи и специализированные процессоры, такие как NPU (Neural Processing Unit). Последний предназначен для ускорения вычислений, связанных с нейронными сетями и задачами машинного обучения. Он оптимизирован для выполнения операций, таких как матричное умножение и свертки, которые составляют основу алгоритмов глубокого обучения.
Таким чипом оснащены все актуальные процессоры Snapdragon, Exynos, Dimensity, модели Apple A-серии, а также некоторые процессоры для настольных и мобильных ПК от Intel, AMD и Apple.

Зачем нужен NPU в смартфоне?

Стоит отметить, что нейронные процессоры как таковые используются в чипсетах уже почти десятилетие, а первопроходцем стал Qualcomm со своим AI Engine. Однако именно с ростом популярности приложений, использующих ИИ, таких как распознавание лиц, обработка фотографий, перевод текста в реальном времени обнаружение объектов в сцене в приложении камеры и голосовые помощники, внимание к выделенным процессорам для таких задач заметно возросло. NPU не является единственным вариантом для обработки этих данных, но именно с ним растет энергоэффективность скорость обработки подобных задач.

Как работает NPU?

В отличие от центрального процессора, NPU использует параллельную архитектуру, что позволяет обрабатывать большое количество данных одновременно. Он состоит из выделенных ядер для матричных вычислений, оптимизированных контроллеров памяти и аппаратных ускорителей.
Алгоритмы глубокого обучения разбиваются на операции, которые эффективно исполняются в NPU, минимизируя нагрузку на другие компоненты SoC.
Основные преимущества использования NPU, за которые он особенно ценен в смартфоне, это высокая производительность, энергоэффективность, которой удалось добиться благодаря особой архитектуре и возможность обрабатывать данные локально — это помогает снизить задержки и повысить конфиденциальность пользовательских данных (речи, фото и видео).

Что такое TOPS

Производительность NPU оценивается в TOPS (Tera Operations Per Second) — это характеристика, которая показывает, сколько триллионов операций процессор может выполнить за одну секунду. Чем выше показатель TOPS, тем быстрее и эффективнее NPU может справляться с задачами ИИ.
Если говорить о цифрах, для Snapdragon 8 Gen 3 актуально значение 45 TOPS, а у свежего Snapdragon 8 Elite указан прирост в производительности нейронного процессора на 45%. Для сравнения, высокопроизводительная настольная видеокарта Nvidia RTX 4090. обеспечивает 1300+ TOPS.

В целом, NPU стал неотъемлемой частью современных SoC, позволяя смартфонам выполнять сложные задачи ИИ быстро и эффективно. Развитие технологий и внедрение специализированных решений от ведущих производителей демонстрируют, что роль NPU в будущем будет только расти, обеспечивая новые возможности для мобильных устройств.