深度学习端上部署工具

Posted 2022-02-01 pan_jinquan

深度学习端上部署工具

模型	公司	通用性别	说明
tf-lite	tensorflow，开源	通用性最强，与 tensorflow 适配完美，不过性能一般 支持CPU和GPU	roadmap 中预计年底将实现对全系列rnn以及control flow的支持，值得期待！
TensorRT	nvidia，闭源	支持CPU和GPU	仅支持nvidia gpu系列产品推理，平台的限定使得无法推广到一般的移动端设备使用
OpenCV
mnn	阿里巴巴，开源	踩在巨人的肩膀上进行研发，起点高，端上性能强悍，据说性能强于ncnn	吸取了最近两年开源的移动端推理框架的各种优秀成果 针对conv3x3s1优化的winograd； 针对网络图的优化以及层间数据复用； 为提高访存效率，加入nchw4策略； 支持int8低比特网络模型压缩及加速； 硬件支持： cpu：为追求速度的极限，使用纯汇编实现了arm32、arm64两种版本的kernel； gpu：支持metal、opencl、opengl、vulkan，全覆盖目前主流移动终端版本gpu，特别是对次时代框架vulkan的支持
TNN	腾讯，开源	支持CPU和GPU
ncnn	腾讯，开源	大量手写汇编级别优化，移动端性能强悍 支持CPU和GPU
bolt	华为，开源	支持CPU和GPU	官方数据中给出了端设备上bert的推理性能数据
mace	小米，开源
paddle-lite	百度，开源
pytorch-mobile	facebook，开源
caffe2	facebook，开源
tvm	陈天奇团队，开源