极智AI | 昆仑芯k200 全高全长推理卡

Posted 2023-02-04 极智视界

欢迎关注我，获取我的更多笔记分享

大家好，我是极智视界，本文介绍一下 昆仑芯k200 全高全长推理卡。

先说标题，我特意写了 "全高全长推理卡"，这是因为看到网上有挺多文章拿昆仑k200 来对标 英伟达T4卡(以表达昆仑芯性能之强悍)，这是不对的，昆仑k200是全高全长卡，而T4是半高半长卡，这俩不是一个级别上的对比，所以拿昆仑芯k200对标诸如T4卡、昇腾300卡之类的半高半长卡，都是不公平的。如果非要硬比，大致可以用 "T4*2" 或 "昇腾300卡*2" 来对标 昆仑芯k200，这样看起来还算公平。

再来说昆仑芯k200，其已在百度内部规模应用，且与百度的飞桨pp有深度的融合。

先来看看k200的性能指标 (就按前面的跟T4对比，但实际你要内心要用 "T4*2" 来对比)。

再强调一下，用 "T4*2" 的数据去对比，这样整体推演到同级别的 k200 性能并没有特别突出，特别是内存方面，也只能做到和 T4卡一致，这对于全高全长卡来说，不管是训练还是推理，都是不够的。

如果你要在网上检索 "昆仑芯k200部署算法" 之类的技术文章或者说案例，会发现挺少，这说明昆仑的生态做的不够好，但生态不够好不一定就是产品不够好。百度在2011年就开始布局打造昆仑芯，这么多年孕育出的产品，而且经过几代的进化，特别是已经在百度内部规模应用，可以看出昆仑芯一定有它存在的优势，值得研究一番。

• 说说AI框架，前面说到昆仑芯和百度飞桨有着深度融合，飞桨有着很好的生态和挺大的使用人群，不断会有更加新的、更加优秀的算法移植到飞桨上。如果你和昆仑芯的技术有一些对接，他们肯定会推荐你在昆仑卡上使用飞桨，这支持的更加好。但回过来，现实是用pytorch和tf的人更多(应该说绝大多数)，特别是pytorch，近几年一些优秀的算法大多用pytorch来实现。那么随之会带来一个普遍的问题：如果是用pytorch或tf，那么怎么使移植到昆仑卡的代价更低呢？答案是：onnx。虽然有很多人吐槽onnx，但不能否认的是，超多的硬件厂商统一支持的一定会优先考虑onnx，它的适应性确实是其他AI框架无法比拟的。既然大家都支持onnx，为何不把部署链路调整到以onnx为起点呢 (你肯定不会只是在一个硬件上部署算法，那么考虑如何高效的在不同硬件上部署算法也是一个现实的问题)。
• 再说说推理sdk，昆仑的推理sdk跟昇腾的一样，也是基于tvm的，这个部署技术栈越来越多地被不同家硬件厂商所采用 (不只有昇腾、昆仑)，为啥就不多说了，这也说明了tvm的强大。这样一来，一个适应性很强的部署链路可以是：onnx -> tvm/tvm变种 -> 推理。

另外需要注意的是，这里介绍的昆仑芯k200并不是昆仑芯的最强卡，k200是基于昆仑芯1代芯片的，还有更强的r200，r200是基于昆仑芯2代芯片的，这个下次再做介绍。

【极智视界】

《极智AI | 昆仑芯k200 全高全长推理卡》

搜索关注我的微信公众号「极智视界」，获取我的更多经验分享，让我们用极致+极客的心态来迎接AI ！