边缘计算 | 在移动设备上部署深度学习模型的思路与注意点 ⛵

Posted ShowMeAI

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了边缘计算 | 在移动设备上部署深度学习模型的思路与注意点 ⛵相关的知识,希望对你有一定的参考价值。

大家在新闻当中见到越来越多的令人振奋的人工智能相关的应用新闻。

  • 『人工智能在围棋中击败了人类!』
  • 『基于神经网络的精准天气预报』
  • 『会写作创作的AI』
  • 『会说话的蒙娜丽莎绘画』
  • 『绘画艺术创作以假乱真的AI』

尽管新闻很炫酷甚至令人惊叹不已,但 AI 的应用与现实世界还有一些差距,核心的原因之一是它们的规模。为了取得更好的效果,现代AI神经网络模型会使用更大数据集、更多的模型参数,但这样一方面训练它们变得让普通人遥不可及(需要特定的昂贵物理资源和大量的电力资源等),另外一方面使得实际推理应用也变得复杂(无法在小型设备上部署,且推理时间很长)。

如果要让 AI 能覆盖现实生活中的场景问题,我们希望可以在资源有限的设备上运行的更小的模型。另外一方面,随着广受关注的安全和隐私问题,我们也希望模型可以部署安装在本地设备上,而不是向服务器传输任何数据进行请求。

接下来 ShowMeAI 给大家介绍和总结使 AI 模型能适用于小型本地设备上的方法技术,实现思路包括:压缩模型参数量设计更小的模型结构知识蒸馏调整数据格式数据复用等。我们还会介绍到移动小处理设备的类型,适用移动设备的模型框架等。

以上是关于边缘计算 | 在移动设备上部署深度学习模型的思路与注意点 ⛵的主要内容,如果未能解决你的问题,请参考以下文章

开源产业级深度学习框架 Caffe2

神经网络模型量化综述(上)

AI端侧落地,京东AI技术如何部署边缘?

终于!谷歌移动端深度学习框架 TensorFlow Lite 正式发布

资源 | 小米开源移动端深度学习框架MACE:可转换TensorFlow模型

震惊!谷歌正式发布移动端深度学习框架TensorFlow Lite