Блоки нейронной обработки или NPU – это встроенные в чипсет процессоры, предназначенные для выполнения сложных математических вычислений, необходимых для нейронных сетей.
NPU отличаются от CPU и GPU производительностью, скоростью и, следовательно, функциональностью.
Генеративный искусственный интеллект (ИИ) набирает популярность с каждым днем. Он находится вокруг нас, в наших компьютерах и мобильных телефонах, и очень скоро он будет интегрирован во все цифровое. Такие масштабные интеграции ИИ требуют большей вычислительной мощности, поэтому центральных процессоров (CPU) и графических процессоров (GPU) может быть недостаточно для этой цели.
Для этой цели были представлены нейронные процессоры (NPU). Они уже окружают нас, интегрированные в современные смартфоны, такие как модели Samsung Galaxy S22, S23 и S24. Однако должно пройти некоторое время, чтобы они стали более распространенными в компьютерах.
Крупнейшие производители систем-на-чипе (SoC) уже начали выпускать чипсеты с интегрированными NPU, такие как Intel Meteor Lake, Intel Core, Core Ultra и AMD Ryzen 8040. Но вопрос остается открытым: что такое NPU и действительно ли он стоит обновления?
Простыми словами, нейронный процессор – это вычислительное устройство, которое специализируется на обработке алгоритмов машинного обучения. Они предназначены для выполнения сложных математических вычислений на более высоких скоростях, чем CPU и GPU, что крайне важно для эффективной работы нейронных сетей.
NPU предназначены для обработки задач, связанных с ИИ, которые включают в себя множество небольших вычислений. Они очень эффективны при обработке больших объемов мультимедийных данных, таких как изображения и видео, а также при обработке данных для нейронных сетей, поскольку предназначены для параллельных вычислений на основе данных.
Хотя CPU и GPU способны обрабатывать задачи машинного обучения, они не будут столь эффективны, как NPU. Более того, включение NPU в устройства значительно снизит нагрузку на CPU и GPU, позволив им эффективно выполнять другие задачи.
Google имеет собственный запатентованный NPU-подобный процессор, известный как Tensor Processing Unit (TPU). Они отличаются от NPU другой архитектурой, но имеют ту же общую функцию обработки сложных алгоритмов ИИ.
NPU внешне и по функциям очень похожи на интегральные схемы для конкретных приложений (ASIC), но это не одно и то же. NPU обеспечивают большую сложность и универсальность, удовлетворяя многочисленные потребности сетевых вычислений, в то время как ASIC создаются для одной цели (например, для майнинга криптовалюты). Это достигается за счет разработки аппаратного или программного обеспечения со специализированным программированием и драйверами, приспособленными к конкретным потребностям вычислений в нейронных сетях.
NPU vs. CPU vs. GPU – в чем разница?
Вычисления в искусственном интеллекте включают в себя большое количество умножений (MAC). Большинство алгоритмов ИИ представляют собой большие деревья MAC в больших наборах данных, которые хорошо работают с небольшими вычислениями по частям, а не с большими. Именно в этом и преуспевают NPU.
Хотя и GPU, и CPU отлично справляются с вычислениями ИИ, NPU способны разбивать их на более мелкие сегменты и выполнять более быстрые вычисления.
GPU предназначены для параллельной работы с большими массивами данных, например, для обработки изображений и видео, в то время как CPU – это общий мозг системы для выполнения широкого спектра задач. Однако NPU предназначены для быстрой обработки небольших вычислений. Они специально созданы для ускорения алгоритмов глубокого обучения, благодаря чему значительно превосходят CPU и GPU при обработке ИИ-нагрузок.
NPU против TPU
Как уже упоминалось, Tensor Processing Unit был разработан компанией Google и специализируется на обработке нейронных сетей, как и NPU. Однако главное различие между NPU и TPU заключается в их архитектуре.
Обычная архитектура Фон Неймана, разделяющая память и вычислительные блоки, не является основой TPU. Вместо этого в ТПУ используется уникальная конструкция, известная как систолический массив, которая объединяет блоки обработки и памяти на одном чипе. Благодаря этому TPU могут выполнять параллельные вычисления быстрее и эффективнее, чем NPU.
При этом, хотя NPU превосходят TPU по пиковой производительности, они также потребляют больше энергии и имеют более высокую задержку. Хотя они потребляют меньше энергии и имеют меньшую задержку, чем NPU, пиковая производительность TPU ниже.
На данный момент TPU доступны только в телефонах Google Pixel и на облачной платформе Google Cloud Platform. Кроме того, доступны различные версии, каждая из которых превосходит своих предшественников.
Что такое GPNPU?
GPNPU можно спутать с гибридным вариантом GPU и NPU. Однако аббревиатура расшифровывается как General Purpose Neural Processing Units.
A GPNPU использует единый конвейер выполнения для унифицированной архитектуры процессора, который может выполнять векторные и матричные операции, а также скалярный (управляющий) код. Поскольку во всей конструкции имеется только одно программно-управляемое ядро, сложные параллельные рабочие нагрузки выражаются более просто.
Как проверить, есть ли в вашем устройстве NPU?
Один из способов проверить, есть ли в вашем устройстве, будь то компьютер или мобильное устройство, NPU, – сайт производителя процессора. Вы можете узнать характеристики и возможности процессора из документации производителя.
Например, если ваш смартфон оснащен процессором Snapdragon 8 Gen 3, он имеет встроенный NPU.
Что касается компьютера, есть несколько способов проверить, есть ли в нем NPU.
Проверка наличия NPU в диспетчере задач Windows
Если в вашем компьютере есть выделенный NPU, он должен отображаться как отдельное оборудование в системе. Вы можете проверить, есть ли на вашем компьютере с Windows выделенный NPU, в диспетчере задач. Вот как это делается:
Нажмите клавиши CTRL + Shift + Esc, чтобы открыть Диспетчер задач.
Перейдите на вкладку Производительность.
Проверьте, есть ли у вас выделенный NPU на вкладке.
Проверка наличия NPU в диспетчере устройств
Еще один способ проверить наличие NPU в компьютере – это диспетчер устройств. Вот как это делается:
Нажмите клавишу Win + i, чтобы открыть окно Run Command.
Введите devmgmt.msc и нажмите Enter<>/kbd, чтобы открыть диспетчер устройств.
Здесь проверьте наличие категории «Нейронные процессоры».
Если категория существует, то на вашем компьютере должен быть установлен NPU.
Проверка наличия NPU на сайте производителя
Еще один отличный способ проверить наличие NPU в компьютере – зайти на сайт производителя. Просто возьмите информацию о системе, зайдите в Интернет и найдите на сайте производителя спецификации вашего компьютера. Это позволит вам узнать, есть ли в вашей модели ПК специальный NPU или нет.
Альтернативный вариант: вы также можете получить данные о процессоре из вашей системы, а затем проверить его на сайте производителя, чтобы узнать, есть ли в нем интегрированный NPU.
За NPU будущее?
Искусственный интеллект повсеместно занимает лидирующие позиции. Даже в Windows 11 каждый месяц можно заметить новую функцию, работающую на основе ИИ.
Для тех, кто действительно заинтересован в использовании ИИ, NPU могут стать полезным дополнением к аппаратному обеспечению, о преимуществах которого мы говорили выше. При этом можно с уверенностью предположить, что NPU будут включены в большинство современных устройств, которыми мы пользуемся, и даже могут стать частью устройств Интернета вещей (IoT) в один прекрасный день.
Нужен ли мне NPU?
Как и в большинстве доступных сегодня сервисов искусственного интеллекта, таких как языковая модель ChatGPT от OpenAI, все вычисления производятся в облаке. Под облаком подразумевается управляемое оборудование, доступное в OpenAI. Так зачем вам нужен NPU, если подобные сервисы уже доступны?
Наличие локального NPU сокращает задержки, связанные с загрузкой данных в Интернет и их последующим получением. Таким образом, внутренние NPU имеют преимущество в скорости. Если ваша работа связана с искусственным интеллектом, то вы выиграете, если у вас будет собственный NPU.
Более того, NPU снижает нагрузку на CPU и GPU, оставляя их свободными для других важных задач. Если бы в вашей системе был собственный NPU, то вы могли бы освободить CPU и GPU для других аппаратноемких задач.
Подводя итог, можно сказать, что NPU вам понадобится только в том случае, если вы активно выполняете вычислительные задачи, ориентированные на ИИ.
Комментарии (0)