移动端深度学习模型部署框架ncnn介绍

Posted 2021-07-31 修炼之路

导读

当我们把深度学习模型训练好之后，想要基于深度学习模型来开发实际应用的时候，主要有三种不同的应用场景移动端、桌面端和服务器端。

• 移动端部署：我们将模型封装成SDK给android和ios调用，由于移动端算力有限通常还需要考虑基于移动端CPU或GPU框架的优化问题来提速。如果模型要求的算力比较大，就只能考虑以API的形式来调用了，这时候模型是部署在服务器上的。
• 桌面端：桌面应用主要包括Windows和Mac OS以及Linux，这时候我们还是需要将模型封装成SDK然后提供接口来进行调用。Windows将模型封装成dll或lib库，Linux封装成so或a库，Mac OS封装为.a或.tbd库。
• 服务器端部署：服务器端模型的部署如果对并发量要求不高，通常可能都是采用flask或tornado来封装一个API接口来给调用。但是这种方式有一个致命的缺点就是，能支持的并发量很低，可扩展性也不高，如果被工具服务器很容易奔溃。对于并发量要求高的应用建议使用基于model server的服务框架。

如果你想开发一个跨平台的深度学习应用，有两种解决思路：第一种将模型部署到服务器上然后对外提供API接口给不同平台的应用调用即可。第二种是基于设备的本地部署，利用