将人工智能模型压缩到微控制器中

Posted 2020-12-14 wujianming-110117

将人工智能模型压缩到微控制器中

Squeezing AI models into microcontrollers

当你把人工智能与物联网交叉时，你得到了什么？人工智能事物（AIoT）是一个简单的答案，但你也得到了一个巨大的微控制器新的应用领域，这是由于神经网络技术的进步，意味着机器学习不再局限于超级计算机的世界。如今，智能手机应用处理器可以（也确实）为图像处理、推荐引擎和其他复杂功能执行人工智能推理。             

将这种能力带给不起眼的微控制器代表着一个巨大的机会。想象一下，一个助听器可以使用人工智能过滤谈话中的背景噪音，智能家用电器可以识别用户的脸并切换到他们的个性化设置，还有一个支持人工智能的传感器节点，它可以用最小的电池运行数年。在端点处理数据提供了不可忽视的延迟、安全性和隐私优势。

Used in tandem, Arm’s Cortex-M55 and Ethos-U55 have enough processing power for applications such as gesture recognition, biometrics and speech recognition

Arm的Cortex-M55和Ethos-U55串联使用，在手势识别、生物识别和语音识别等应用中有足够的处理能力。

然而，用微控制器级设备实现有意义的机器学习并非易事。例如，作为人工智能计算的一个关键标准，内存常常受到严重限制。但是，数据科学正在迅速发展以缩小模型尺寸，设备和IP供应商正在通过开发工具和结合为现代机器学习需求量身打造的功能做出回应。             

TinyML起飞了             

作为这一行业快速增长的一个标志，今年2月在硅谷举行的一个新的行业盛会TinyML峰会正在变得越来越强大。据主办方介绍，去年举行的首届峰会共有11家赞助公司；今年的峰会有27家，而且展位提前售罄。主办方称，参加TinyML全球设计师月会的人数大幅增加。             

“我们看到了一个新世界，拥有数万亿台由TinyML技术支持的智能设备，这些设备能够感知、分析并自主行动，为所有人创造一个更健康、更可持续的环境，”TinyML委员会联席主席、高通公司高级总监Evgeni Gousev在最近的一次会议上致开幕词时说。              

Gousev将这种增长归因于更节能的硬件和算法的开发，以及更成熟的软件工具。他指出，企业和风险资本投资正在增加，创业和并购活动也在增加。

Eta Compute’s ECM3532 uses an Arm Cortex-M3 core plus an NXP CoolFlux DSP core. The machine learning workload can be handled by either, or both

今天，TinyML委员会认为，这项技术已经得到验证，在微控制器中使用机器学习的初始产品将在2到3年内投放市场。“杀手级应用”被认为还有三到五年的时间。             

去年春天，谷歌首次为微控制器演示了TensorFlow框架版本，这是技术验证的一个重要部分。用于微控制器的TensorFlow Lite被设计为在只有数千字节内存的设备上运行（核心运行时在Arm Cortex-M3上可容纳16 KB；有足够的操作员运行语音关键字检测模型，它总共占用22 KB）。它支持推理，但不支持训练。             

大玩家             

当然，大型微控制器制造商正饶有兴趣地关注着TinyML社区的发展。随着研究使神经网络模型变得更小，机会也越来越大。大多数都支持机器学习应用程序。例如，STMicroelectronics有一个扩展包STM32立方体.AI，它可以在基于Arm Cortex-M的STM32系列微控制器上映射和运行神经网络。             

Renesas Electronics的e-AI开发环境允许在微控制器上实现AI推理。它有效地将模型转换成可在公司E2工作室中使用的形式，与C/C++项目兼容。             

NXP半导体表示，有客户将低端Kinetis和LPC MCU用于机器学习应用。该公司正在用硬件和软件解决方案拥抱人工智能，尽管它主要面向更大的应用处理器和交叉处理器（应用处理器和微控制器之间）。

强壮的ARM公司合作             

在微控制器领域的大多数老牌公司都有一个共同点：Arm。嵌入式处理器-核心巨头Cortex-M系列在微控制器市场占据主导地位。该公司最近发布了全新的Cortex-M55内核，它是专门为机器学习应用而设计的，尤其是与Arm的Ethos-U55 AI加速器结合使用时。两者都是为资源受限的环境而设计的。但是创业公司和小公司如何在这个市场上与大公司竞争呢？             

XMOS首席执行官马克利佩特（Mark Lippett）笑着说：“不是通过建立基于Arm的SOC，因为（占主导地位的）SOC做得非常好。”。“与这些公司竞争的唯一方法是拥有架构优势……[这意味着]Xcore在性能方面的内在能力，以及灵活性。”             

XMOS’s Xcore.ai公司其最新发布的语音接口交叉处理器将不会直接与微控制器竞争，但这种观点仍然成立。任何一家制造基于Arm的SoC来与大公司竞争的公司最好在它的秘密策略中有一些非常特别的东西。