全球缺芯大潮中，以软代硬能否另辟蹊径？

Posted 2021-11-01 AI科技大本营

在5G和人工智能的技术浪潮如约而至以后，业内人士无不对IoT产业的未来报以极大的期待。以人工智能和家居设备为基础，再加上算力与网络支持，有理由相信未来IoT相关产业必将迎来爆发。然而今年，席卷全球的芯片产能不足问题影响到了各行各业，其对于普通人影响或许是价格，但对于企业而言，其事关生死存亡。尤其是扎根于各类智能设备的企业而言，如何提升芯片效能，提升端侧的智慧能力，这几乎可以被视作2021年IoT产业生存的第一要务。

与此同时，我们还能看到太多的算法模型在走向极致，对于用户苛刻的智能需求，巨大模型在不断地完善和构建；而对于一些高频次和便捷性的智能需求，能够运行在边缘侧的小模型也同样受人欢迎。当芯片产能无法在一朝一夕之间解决，从生产线的构建到各类原材料价格，哪怕是再小的因素都可能形成蝴蝶效应，那么是否有可能从边缘侧，在终端上，借助软件的力量来实现芯片的升级呢？

这一想法当然不是没人能想到，CoCoPIE便是在尝试的企业之一。在国庆期间，笔者也与远在硅谷的CoCoPIE公司负责人李晓峰博士连线，一起聊了关于芯片，关于AI，也关于当下的这些故事。

5G和AI如约而至，边缘的浪潮来了吗？

在加入CoCoPIE之前，李晓峰博士就已在终端产业做出了诸多成绩。14年的英特尔职业生涯，从超级计算到服务器计算，又到个人机计算，再到后来移动计算，他领导团队开发的微运行时系统在英特尔的平台上被广泛部署。在大潮汹涌而过时，李晓峰博士看到了端侧计算的重要性不断扩展，行业巨头们的探索接踵而至，端侧用户价值不断提升。于是，李晓峰博士便带领Intel中国运行时实验室，在谷歌正式发布android之前便开始了Android的研究和优化工作，曾负责Android系统在英特尔移动平台上的性能、功耗和流畅性，并开发了业界的第一个Android评测套件。在离开英特尔时，李晓峰博士对端侧技术和用户需求就已经有了非常深刻的理解。

CoCoPIE 公司负责人 李晓峰

 此后，李晓峰博士的工作一直围绕着端侧智能设备相关技术。曾任华米美国分公司总经理，兼技术副总裁，负责协助建立美国研发团队，并领导团队进行健康手环产品的软件和算法研发；还曾担任华为技术副总裁，在华为美研带领团队研发下一代操作系统，并负责基于深度学习的移动感知平台的构建，研发应用于移动设备的智能感知算法；加盟CoCoPIE之前，李晓峰博士是OPPO软件的首席架构师，负责基础软件技术的战略和实施。

丰富的业界经验与技术攻关成绩，让李晓峰博士对端侧设备智能化的需求有了更加深入的理解，那么端侧智能市场的未来，会有怎样的脉络呢？CoCoPIE对端侧智能相关市场进行过一番深入的调查，并且找到牛津大学商学院的咨询机构，对端侧AI中的IoT智能设备、媒体娱乐应用以及芯片三大应用市场进行了系统分析。在未来，端侧AI有着巨大的市场需求，其市场空间可能高达1.06万亿美元。

通过端侧AI能够有效的降低云侧成本，使得数据存储和前期的分析等可以放在端侧执行，从而降低云侧计算、网络流量等成本；更重要的是，因为端侧AI不需要把数据上传，有效地满足了呼声日高的用户数据隐私和安全保护需求；在媒体娱乐方面，对用户体验的提升成为端侧服务以及设备提供商的主要竞争热点，越来越多的智能玩法出现在生活之中，如变脸增强，智能交互等娱乐手段也不再新鲜，而端侧AI的实时处理能力，相比云侧计算可以实现用户体验的飞跃式提升，并使能大量通过云服务无法实现的新型体验；而芯片侧则是当下的热点话题，由于芯片产能不足，高端芯片的供货也存在一定空缺，另一方面，端侧AI的需求对端侧算力的需求又大大增加。要解决这个矛盾，通过软件优化技术，可以降低对专用芯片、高端芯片的需求，缩短产品研发周期，从而实现以软件技术来改善、促进芯片产业的发展，在当前和未来都有着巨大的发展空间。

李晓峰博士认为，数字化的发展历史就是让计算设备更加智能化、让智能不断渗透物理世界的过程，从计算器到计算机，再从计算机到智能设备，这一趋势一脉相承。上一代设备智能化发展的核心手段是在设备上植入芯片来运行软件应用，而当前这一代设备智能化的核心手段则是在设备上支撑深度神经网络的AI应用，这是数字化发展的必然，是不可阻挡的趋势。因此，李晓峰博士在这一趋势中顺势而为，投身于CoCoPIE创业，希望通过解决AI计算中的瓶颈问题，改变人们的生活。

当前实现AI普及最大的瓶颈问题就是，随着AI技术的发展，模型变得越来越大，算力需求因此也越来越大。随着各种超大模型的诞生，AI任务的运行甚至要上超算才能解决算力的问题。可是，AI并不是高算力平台的专利，端侧也一样需要AI智能化。CoCoPIE便是通过软件优化技术，大幅度提升AI任务的运行效率，让非专业芯片获得超越专业芯片的效率，也可以让专业芯片的效率进一步增益，从而达到AI能力普及化的目的。

软件与硬件的交织，对于AI模型的另一种尝试

在过去的几年里，我们看到海量的AI创业公司如雨后春笋般冒出，却又一批批的悄然消失。最终留下来的，要么技术雄厚，要么家底雄厚，由此不难看出，AI产业不仅仅有技术的门槛，也有行业的门槛存在。有实力的厂商往往需要自己研发专用芯片来从硬件架构方面实现适配深度神经网络算法，在李晓峰博士看来，这样做的问题就在于研发周期和技术投入都会很高，风险和挑战也会很大。CoCoPIE的做法是针对芯片特性对模型进行优化，实现在不降低模型精确度的情况下，在通用芯片上的效能超过专用芯片。同时，其作为一种软件的技术，与AI专用芯片并非互斥，而是可以进一步释放其潜在能力。

举例来看，当我们在看视频的时候，云侧往往需要在云端存储同一个视频的各种分辨率的视频内容，然后根据网络带宽情况或用户选择，通过网络传输到用户设备上。但是如果改为由端侧设备自动将低分辨率的视频提升为高分辨率，云侧只需要存储一种低分辨率的视频内容，通过网络也只需要传输低分辨率内容，这样就能够有效降低对云侧存储、网络带宽的要求。但要在端侧实现高性能的实时超分辨率，目前对端侧算力、功耗有较高要求，这也是目前超分辨率技术在端侧设备迟迟不能普及的根本原因。通过CoCoPIE在端侧的软件优化技术，已经可以轻松做到在通用手机平台芯片上的实时超分辨率，根据平台需求可以达到30FPS甚至60FPS，实现对网络服务商、手机设备商、终端消费者的多赢。

把AI任务运行到端侧设备上，往往需要做两步，压缩和编译。而CoCoPIE技术的与众不同之处在于对压缩和编译的协同设计，也就是在压缩时考虑编译器和芯片结构特征，从而找到最佳压缩策略，为编译做好准备；在编译时则充分利用压缩模型的结果，对芯片进行针对性代码生成。简单来讲，就是根据第一性原理，先找到最优解的方法，然后根据实际情况进行甄选，让实际情况逼近最优结果。依据这一规则，CoCoPIE的技术可以同时实现精确度和高性能。

AI模型压缩的方法在业界有很多，其中主流的是权重剪枝和量化。权重剪枝的技术又可以分为结构化和非机构化两种，二者各有利弊，结构化剪枝只能对过滤器和通道进行剪枝，剪枝结果规则，对硬件加速和计算效率提升较好，问题是剪枝粒度粗，准确率降低；而非结构化剪枝则可以使得剪枝维度做到很小，而且准确率也很高，但问题是剪枝不规则，对硬件不友好，能耗较高，且计算效率不高。

那么有没有第三条路呢？显然是有的，CoCoPIE提出了基于模式的剪枝方式，在结构化和非结构化之间寻找平衡，塑造一种细粒度的结构化剪枝，在多种剪枝结果中寻找最优解，确定匹配AI模型和芯片平台的最佳压缩模式。根据协同设计原则，CoCoPIE框架由两个组件组成：CoCo-Tune和CoCo-Gen。

CoCo-Tune的主要任务是剪枝和压缩，在训练过程中，网络的体量足以允许局部网络的重用，利用这一性质，其通过模块化局部网络重用，能够显著缩短确定要修剪的适当DNN参数集的过程。CoCo-Gen可以根据结果进行微调和生成，进行细粒度的剪枝和最优适配代码的生成，也就是通过基于模式的DNN剪枝与基于模式的感知生成代码相协同，生成高效的 DNN 执行代码。

边缘的AI，设备的未来

在李晓峰博士看来，设备是为人服务的，也是人能力的一种延伸。比如计算机是人大脑的延伸，相机是人的眼睛的延伸，各种端侧设备也都与人们的生活十分贴近。当人在与数字世界交互时，设备就是人类与数字世界之间的入口和出口，AI的能力不论多强，最终都必须要通过端侧设备这个门户。端侧设备作为入口，需要提供大量对人们活动、意图的感知能力，从而更好地理解人本身；而作为出口，端侧设备则需要给人提供更加愉悦的感官体验和新型服务体验。这一切的技术革新，意义深远，而背后则意味着对端侧AI能力的极大需求。

其实不仅仅是手机、家电这些设备，就是更加复杂的边缘设备也可以从CoCoPIE的技术中获得巨大的收益。例如，通过CoCoPIE的解决方案，可以在几百美金的芯片上，实现上万美金级别的无人驾驶专用平台能力。这些技术所展示出来的巨大潜力，对各类移动侧、边缘侧的客户都有很大的吸引力。因此包括互联网大厂，芯片平台提供商，手机厂商，美国交通部以及某无人驾驶公司等十余家企业已然成为了CoCoPIE的合作伙伴。

作为技术产品，CoCoPIE交付服务的方式也是多样化的，主要包括了完整的自动化工具链和AI模型仓库，可以通过许可授权或云服务来使用。同时CoCoPIE也在平台厂家进行软硬一体化设计，针对特定硬件平台进行整体的加速方案集成。

当然，端云结合的趋势在AI领域也一样存在。未来AI在端侧和云侧将各司其职，端侧承接入口和出口的任务，云侧依然可以是中军帐，二者必将同步前进。在今年8月，CoCoPIE完成数千万元A轮融资，李晓峰博士认为公司下一阶段还将集中精力发展核心技术及其产品，并不断提升技术壁垒，比如侧重用户数据安全隐私的计算技术，对平台能力动态适配的自适应技术等；另一方面，CoCoPIE也会积极拓展自己的合作生态，让更多的合作伙伴通过优异的端侧AI能力为他们的客户提供更好的服务。

未来AI是无处不在的，这一点毋庸置疑，李晓峰博士表示：“上一次的浪潮中芯片随着智能设备变得无处不在，而下一波浪潮里AI将会随着芯片变得无处不在，我们的目标就是‘凡有AI处，就有CocoPIE’。”