cpu和gpu已过时，npu和apu的时代开始

Posted 2022-08-04 振华OPPO

🌎CPU是中央处理器。其实就是机器的“大脑”，也是布局谋略、发号施令、控制行动的“总司令官”。CPU的结构主要包括运算器（ALU，Arithmetic and Logic Unit）、控制单元（CU, Control Unit）、寄存器（Register）、高速缓存器（Cache）和它们之间通讯的数据、控制及状态的总线（BUS）。

🌏GPU一般指图形处理器，又称为显示芯片、视觉处理器，是一种专门在个人电脑和一些移动设备上做图像和图形相关运算工作的微处理器。

🌈现在笔记本基本上都是Intel处理器+NVIDIA独立显卡，很常见。
都说硬件是下一个风口，再加上近几年深度学习和计算机视觉的飞速发展，
迎来了新的处理器的时代，下面就来一一介绍。

1、NPU

⛲️嵌入式神经网络处理器（NPU），英文全称Neural-network Processing Units。采用“数据驱动并行计算”的架构，特别擅长处理视频、图像类的海量多媒体数据。比如实验室的ITX3588J 8K人工智能开发板，它的规格说明书上写的NPU介绍如下：

⛺️这里科普下TOPS（处理器运算能力单位），OPS是Tera Operations Per Second的缩写，1TOPS代表处理器每秒钟可进行一万亿次（10^12）操作。

与此对应的还有GOPS（Giga Operations Per Second），MOPS（Million Operation Per Second）算力单位。1GOPS代表处理器每秒钟可进行十亿次（10^9） 操作，1MOPS代表处理器每秒钟可进行一百万次（10^6）操作。TOPS同GOPS与MOPS可以换算，都代表每秒钟能处理的次数，单位不同而已。

在某些情况下，还使用 TOPS/W 来作为评价处理器运算能力的一个性能指标，TOPS/W 用于度量在1W功耗的情况下，处理器能进行多少万亿次操作。

🌃在业内，单位功耗的计算性能，也就是性能功耗比，被用来衡量处理器架构的优劣。据该实验室执行主任、中星微首席技术官张韵东介绍，“星光智能一号”的性能功耗比在传统的冯诺依曼架构上“至少提高了两三个数量级”，也就是几百倍。

高功耗是很多顶尖人工智能技术被诟病的。IBM20世纪的“深蓝”和谷歌2016的AlphaGo因其需要由巨大的数据计算支撑，前者使用超级计算机，后者使用服务器集群，无法脱离恒定温度和湿度的机房。AlphaGo下一盘棋光电费就需要3000美元。张韵东将它们称之为“一场科学实验”，离技术落地、投入应用还有较远的距离。

这凸显了嵌入式NPU的小型化、低功耗和低成本优势，加快人工智能技术落地应用。例如无人机对摄像头的重量和功耗有很高的要求，否则会影响起飞和续航能力。而“星光智能一号”只有普通邮票大小，重量仅几十克，它的诞生让诸多监控摄像头等小型设备有了人工智能化的可能，迈出了人工智能从神秘的机房，跨向生活应用的一步。

2、VPU

VPU(Video Processing Unit，视频处理单元）是一种全新的视频处理平台核心引擎，具有硬解码功能以及减少CPU负荷的能力。另外，VPU可以减少服务器负载和网络带宽的消耗。VPU由ATI提出，用于区别于传统GPU（Graph Process Unit，图形处理单元）。图形处理单元又包括视频处理单元、外视频模块和后处理模块这三个主要模块。简单来说，VPU是属于GPU的一个模块，可以单独拿出来。

🌁VPU的基础特性：

• 支持的视频编解码标准类别丰富，图像高清。
• 支持多种抗误码工具、多解码和全双工多方通话同时进行。
• 提供了可编程性、柔初性，以及易于升级的解码和编码或主机接口，因为在编解码处理和主接口都实现为可编程微处理中的固件。

🎡VPU的编程特性：

VPU编程特性体现在有一个称为BIT处理器的内部的DSP。该BIT处理器的操作是由称为位固件的专用微代码确定。拥有完整组位的固件代码，以及一套完整的VPU控制功能称为VPU的API。因此，应用程序开发人员并不需要管理的主机处理器的编解码器的具体问题。VPU提供给开发人员的编程实现接口具有如下特性：

• 🏅基于帧的处理。BIT处理器完成解码操作在一帧一帧的基础上，在VPU解码器操作没有负担的主机处理器发出图象处理命令之后，主机应用程序执行它自己的操作，直到它已准备好为下一次图像处理操作或直到它收到一个来自VPU的中断通知完成主处理器图像处理。

• 🎽程序内存管理。它有自己的程序的内存来加载位固件用于支持应用程序特定的操作。为了使用这个内部存储器效率地进行，BIT固件具有动态重新装载计划，使VPU具有小量的程序存储器。

• 🏆多实例。VPU支持多实例，这对于多声道解码器的应用程序十分有用。当创建一个新的时实例和启动的图像处理操作时，VPU创建和内自动更新一组上下文参数。这种内部上下文管理方案允许主机处理器上运行的不同解码器的任务，以控制VPU独立经营自己的实例编号。当创建一个新的实例，应用程序的任务接收到一个新的句柄指定一个实例。应用程序可以很容易地通过调用一个参数终止VPU单个任务关闭某个实例。

🌉VPU特色及应用：

VPU针对视觉处理应用而设计，在性能、功耗和功能性方面都有特别的强化，使之更贴近于实际的应用需求，其设计兼顾到多种用途，专门为视觉处理进行硬件系统的优化。

其实VPU也是一个SoC，内部集成有多个主控RISC的CPU、许多硬件加速器单元和矢量处理器阵列，专门为视觉海量像素设计的高性能影像信号处理器(ISP)，以及丰富的高速外围接口。在保证强大性能和功能的前提下，VPU采用更先进的集成电路工艺，大大缩小了芯片的尺寸，并结合有效的技术手段，降低各个运算单元的功耗。

目前最知名的应用当属英特尔® Movidius™ ，这款视觉处理器能够高效完成要求苛刻的计算机视觉和边缘人工智能工作负载。通过在将数据移动最小化的独特架构中，将高度并行的可编程计算与面向特定工作负载的硬件加速相结合，Movidius 视觉处理器可以在电源效率和计算性能之间实现平衡。在视觉零售、安全、工业自动化等领域，VPU 技术借助深度神经网络和基于计算机视觉的应用程序为智能摄像头、边缘服务器和人工智能设备提供支持。

3、APU

⛺️APU，英文全称是“Accelerated Processing Units”，加速处理器，它是融聚了CPU与GPU功能的产品。电脑上两个最重要的处理器融合，相互补足，发挥最大性能。APU的中文名字叫加速处理器，是AMD融聚理念的产品，它第一次将处理器和独显核心做在一个晶片上，它同时具有高性能处理器和最新独立显卡的处理性能，支持DX11游戏和最新应用的“加速运算”，大幅提升电脑运行效率，实现了CPU与GPU真正的融合。APU性能强悍的秘密在于其革新的核心架构，最新的视频解码引擎，超小芯片和超低功耗设计，强悍的显示性能。

🌌APU出现背景：

英伟达、英特尔和AMD都想将自己的芯片做成CPU+GPU的结合体，而且早已推出此类产品，可以说CPU+GPU的形式已经成为未来芯片设计的趋势，这种结合体就是APU。

自2006年Opteron CPU的鼎盛时期以来，AMD一直梦想着使用APU，并于2010年开始推出第一款用于PC的APU。随后在索尼Play Station4和5以及微软Xbox XS中推出了定制APU系列游戏机，也推出了一些Opteron APU——2013年的X2100和2017年的X3000。

🏩APU发展趋势：

最近，AMD公布的路线图中显示，其将在2023年推出Instinct MI300芯片，这是AMD推出的第一款百亿亿次APU，AMD将其称为“世界上第一个数据中心APU”。

而这个APU是一种将CPU和GPU内核组合到一个封装中的芯片，仔细来说是将基于Zen4的Epyc CPU与使用其全新CDNA3架构的GPU相结合。

🗽APU性能提升：

AMD表示Instinct MI300预计将比其Instinct MI250X提供超过8倍的AI训练性能提升，与支持Instinct MI200系列的CDNA2 GPU架构相比，用于Instinct MI300的CDNA3架构将为AI工作负载提供超过5倍的性能功耗比提升。

AMD表示，与使用分立CPU和GPU的实现相比，该架构的设计将允许APU使用更低的功耗；
英特尔同样表示，其Falcon Shores芯片将显着提高带宽、每瓦性能、计算密度和内存容量。

4、NVR

🏡NVR，全称Network Video Recorder，即网络视频录像机，是网络视频监控系统的存储转发部分，NVR与视频编码器或网络摄像机协同工作，完成视频的录像、存储及转发功能。

智能NVR是当前最新一代NVR，采用嵌入式设计，集成高性能NPU模块，内嵌成熟的视频结构化识别算法，对实时视频进行人体、车辆、人脸目标的检出、跟踪、抓拍并识别，充分挖掘监控视频的价值，服务安防大数据时代。

智能NVR使传统的网络摄像机具有聪慧的大脑，让系统具有视频内容理解能力，进而可根据视频内容进行基于目标的预警、布控，基于内容的搜索、大数据挖掘，把普通网络摄像机变成智慧型摄像机。

🗽主要特性：

• 在传统NVR以视频存储为主要目的基础上，集成人体、车辆和人脸识别算法；

• 支持8路视频结构化，或4路带人脸识别的视频结构化；

• 支持视频检索，可通过结构化和非结构化信息进行视频检索；

• 支持视频、图片、结构化和非结构化数据统一存储，方便管理；

• 支持千万级动态库检索，百万级动态库检索秒级出结果；

• 支持视频存储、智能处理、相机管理、平台管理、智能检索、布控预警、统计分析、事件处理、实时预览、录像回放等功能；

• 支持4/8/16盘位存储，单盘位最大支持8T；

• 支持ONVIF协议，可接驳第三方设备；

• 支持HDMI视频输出，最高分辨率4K；

• 支持H.265、H.264 HP/MP/BP解码；

🌁典型应用：

广泛应用于ARM PC、边缘计算、云服务器、智能NVR、智慧大屏、AR/VR智能汽车等领域；双千兆以太网RJ45、2.4GHz/5GHz双频WIFi6/蓝牙5.0支持5G/4G LTE。