是否拥有NPU，会成为手机AI体验的赛点吗？

Posted 2020-10-29

随着搭载骁龙845的小米、OPPO纷纷推出新机，在AI芯片方面，华为、苹果、高通三位主要玩家的代表作都已经出现了。在本系列上一篇文章中，很多读者都很好奇：同样都是移动AI芯片，麒麟970、苹果A11和骁龙845之间的不同点究竟在哪？

从硬件角度来看，三者最大的区别在于对AI运算的实现方式上。我们知道，AI计算与以往手机上常见计算任务的区别，就在于实现机器学习、深度学习的推理需要在长时间内保持高速、大量的计算处理。峰值数据吞吐量的提高、计算时长的提高包括对计算速度要求的提高，都对AI芯片的算力做出了新的要求。

而这三种芯片的区别，就在于如何实现更强的算力上。

其中麒麟970采用的是“硬实现”的方式，在CPU、GPU等等传统计算单元之外加入了一个新的计算单元——嵌入式神经网络处理器NPU。就像GPU专用于图像运算一样，NPU也是专用于卷积神经网络的计算，从而实现机器学习的相关功能。同样的AI计算任务，在拥有NPU的前提下会比单纯的CPU运算提升约50倍能效和25倍性能——不仅速度更快，而且耗能更低，以免影响手机的正常应用。

与麒麟970的硬实现模式不同，苹果A11采用的是“软实现”模式，不设置独立的神经网络处理单元，但通过对自研GPU、自研ISP和DSP等等传统硬件模块进行AI配适调整，集成“神经网络引擎”极大的提升图片计算的处理速度。在AI任务中，很多都涉及到对图片内容的学习和推理，如AI美颜等等，提升了图像计算能力，自然也能提升AI计算的效率。

骁龙845推出的AI Engine（人工智能引擎）概念和苹果A11有些类似，同样是调整CPU、GPU、DSP等多个硬件模块，从而替代NPU的能力。

所以，芯片中的NPU单元真的可以被其他解决方案替代吗？

想要回答这个问题，首先我们要知道AI芯片到底能做到什么。

在拥有AI芯片之前，手机遇上AI任务时，大多数时候采取的云计算方式——把数据上传到云端，进行推理后下载结果到本地。这样一来一回的计算方式不仅效率低下，并且很容易造成应用卡顿。

但拥有了超高算力的AI芯片后，手机终于可以实现端侧AI。不管有没有网络连接云端，都可以在手机本地进行实时的、无条件的高速运算。

这样的端侧AI给手机带来了四项能力，分别是感知、认知、动力和安全。接下来我们可以从这四项能力的实现过程中，讨论有没有NPU究竟对手机AI产生了何种影响。

智能感知有多高效？瞬间抓拍笑容

手机是如何感知一切的？

在以往是通过触摸屏幕等输入方式，对用户的信息进行解码。同时通过GPS、陀螺仪等等软硬件两层的传感装置弄明白“我在哪、我与地面的距离”等等信息。

但随着计算能力的增加，一些原本存在于云端的算法正在进入终端，让手机感知到更多。比如在图像处理上，以往手机只是简单的拍摄照片，现在随着计算能力增加，手机本地也可以部署图像识别模型，在取景阶段手机就能知道镜头前的是宠物还是人类。

但有了NPU的存在，手机算力全面提高不再只限于对图像的处理能力，所能感知到的信息也就更为全面。

比如荣耀V10有一项智能音乐推荐功能，在AI算力的支持下，可以通过手机的体感能力实时监测到用户的运动频率，从而推荐旋律和运动频率相近的音乐。

就连现在应用最广的AI拍照方面，也存在很多区别。像小米Mix 2S和OPPO R15都提出了场景识别，分辨出拍摄的对象并进行相应的后期处理。但华为的P20系列却能在端侧实现表情识别，自动抓拍到拍摄对象的笑容。

原因就是，笑容、运动频率这种数据波动往往是转瞬即逝的，NPU作为独立运算单元专职负责AI计算，可以以最快速度调用资源完成处理。可CPU+GPU的解决模式要同时顾及手机上的所有计算任务，就有可能出现排队的状况，镜头前的人都笑完了，计算资源还没调度过来。

精准认知下，智慧识屏让服务直达用户

所谓认知，就是手机对信息的加工处理过程。

有了端侧AI的强算力，手机正在逐渐从处理数据走到处理知识。举个例子，以往iPhone的相册分区会按照拍摄地点、拍摄时间来区分，但现在已经能实现猫、海水这样以照片内容区分的方式。手机从以前只能理解时间、GPS定位这些结构化数据到可以理解猫狗花草这样非结构化的“知识”。

在EMUI中，我们还可以见到一项名为智慧识屏的功能。只要双指长按屏幕就可以实现对图片和文字的共同读取，并且通过AI理解图片与文字的语义，呈现出地址、电影购票、饭店大众点评等等服务卡牌。点击这些卡片，就可以直接跳转第三方App，极大的减少了App间的手动调度。

这一功能的出现，是因为NPU更强大的算力可以实现对信息的多维处理：不仅仅可以同时处理自然语音和图片，还可以通过对用户行为习惯的理解进行应用跳转这类主动服务。

动力指挥官，懂得用户才有智慧节电

一个普遍的认识是，大量的计算是非常耗电的。不然比特币矿工们也不会四处寻找低电价的城市了。但手机的动力系统上，AI计算反而可以发挥正向作用。

在上文提到，AI让手机拥有了更强大的认知能力，在拥有NPU的手机中，这种认知更是每时每刻的发生着，最终实现手机对用户个人行为习惯的一种深入理解。就拿电池续航来说，搭载上麒麟970之后，华为和荣耀所应用的EMUI都加入了智慧省电功能。即通过对个人用户对应用使用习惯的深度学习，记住哪些应用是经常使用的，预测到哪些场景下即将打开哪些应用。在这一制度下，再来进行资源调配，有了独立的计算单元，手机AI时时刻刻都在进行着学习和计算，“切断”了那些启用率低的App的供能，从而让手机获得更好的续航能力。

不光是电池续航，在安卓手机系统不流畅方面，同样的智慧资源调度也在发生着作用。在普通手机中，各个应用都在排队领取自己所需的运行资源，久而久之队列越来越长，效率也越来越差。而NPU就像一个指挥官，通过应用的日常表现判断它们到底需要多少资源，把排队领取变成实时的按需分配。

这样一来不仅手机应用对内存、计算资源的利用率提高，AI还可以定时向用户提醒，哪些应用出现了流量异动、哪些应用太久没有被启动。帮助用户更清晰的了解到手机内部的运行状况。以荣耀V10的数据看来，在这样的模式下系统调度性能提升了60%，操作流畅度提升了50%。从电力续航到内存，手机整体的动力系统效率都得到了提升。

安全壁垒永驻，有端侧计算才敢把数据交给手机

在云计算时代，用户隐私问题就像一堵避不开的高墙；想要获取更好的服务，就需要把数据上传到云端进行处理，可是一旦数据上传到云端，就有被泄露的可能。但端侧AI的存在就完美避开了这一问题，计算都在本地进行，不存在将个人隐私暴露在公用的云空间中。

加入NPU后，更是可以在保证隐私的前提下为使用者提供更多服务，把对用户行为习惯的理解完全放在无网的封闭空间下进行，手机就可以更“懂你”。目前HUAWEI P20、荣耀V10都已经可以做到屏幕亮度、后台资源、碎片文件等等方面的智能调节，其实手机还知道你最常使用的驾车路线、接下来几天的行程、喜欢去哪些地方消费等等更多信息，这些信息放在云端上一定会让人感觉受了冒犯，但在端侧AI对信息安全的加持下，手机会成为一位合格的个人助理。

比如用户通过语音助手预约餐厅时，手机可以直接通过用户的出行习惯推荐适合的路线，甚至还可以帮用户推荐菜品。这样建立在安全感之上的智能体验，很有可能让用户不知不觉中对AI手机产生依赖。

看到这里我们会发现，NPU之于手机，不仅仅是简单的技术加成，而是通过感知、认知、动力、安全等等方面的细微之处提升用户对手机的使用感。用户或许不理解所谓的深度学习，但一定能感受到手机的续航能力越来越强、越来越符合自己的使用习惯。

如今移动AI还在刚刚起步阶段，用户很难对AI手机形成一个确切的认知。这时恰好就出现了一个窗口期，从红米的千元AI系列到OPPO的智能拍照，不管是否真正拥有AI能力的手机都可以打着AI的旗号“蹭热度”。

可当用户真正使用上这些手机时，除了感受到与美图秀秀无异的“AI滤镜”之外，完全不能体会到手机对于自己行为的学习、对于操作系统速度、电池续航能力的提升，AI不AI的，在使用感上毫无变化。对于手机这款产品而言，拍照效果、续航能力、操作便利等等这些使用感受才是永恒不变的货币体系，是消费者确认其价值的唯一参考。

窗口期永远是短暂的，博得一时的流量，不如把握住一项能真正改变产品体验的技术。