RK开发者大会直播收看总结

Posted 2022-01-07 papaofdoudou

AI相关

网易有道AI团队自主设计研发了高性能端侧机器学习计算库——EMLL(Edge ML Library)，并已在近日开源。EMLL 为加速端侧 AI 推理而设计，提供基于端侧处理器的高性能机器学习计算库，支持fp32、fp16、int8等数据类型，已在网易有道词典笔、翻译王和超级词典等智能硬件产品的 NMT、ASR、OCR 引擎中应用，大幅提高计算性能，提升用户体验。

EMLL和eigen在架构上处于同一层面。

开源地址：https://github.com/netease-youdao/EMLL

在开发者大会上，有道专家介绍了它们方案使用EMLL和EIGEN库在不同平台上的性能表现。

网易有道词典笔、超级词典、翻译王均内嵌了网易有道自主研发的神经网络翻译NMT、光学字符识别OCR、语音识别ASR、语音合成TTS等业内领先的AI技术，并且支持离线功能。

 有道的应用主要几种在语音方面，视频方面的不多，毕竟是做文字起家的。

思必驰，思必驰也是主要做语音的，主要介绍了语音方案在智慧驾驶，智慧座舱中的应用情况，在分享中，思必驰的专家分享了一段视频，全场景车载语音场景落地。无需要用手，只需要语音就能实现和车载电子以及控制的交互，还分享了另外一段视频，关于智能收音机的，收音机在现在的车型中属于比较小众的搭配了，几种在低端车型，5万以下的车当中，但是经过智能化改造之后，应用还是非常的击中痛点的，尤其对于带小孩的家庭祝福来说，不用腾出手专门操作电子设备了，这点比较重要，毕竟，驾驶是对女人和车辆的双重伤害，复杂的电子设备就不要横插一杠了。

对于AI的未来技术路线， 思必驰专家认为，未来语音方面自监督学习是发展方向，并且在思必驰内部已经进行了尝试，在部分场景中落地。

关于智慧座舱，专家还提到，方案可以抑制小声音，闲聊的声音以及后排的聊天声音等等不重要的声音，通过算法都过滤掉了。

RK第四代NNA IP

RK的NNA技术来源于VIP，经过了四代演进，已经笑话和吸收并形成了改进的能力，第四代NPU就是其在消化吸收的基础上对NPU做的一次性能提升。

整体架构和使用方式和VIP相似：

总体上，RKNN无论工具还是软件架构都类似于VIP，RKNNToolkit的功能更是和acuity toolchain如出一辙。

IP结构上面，VIP分为了NN，TP，PPU（shader)三种计算单元，卷积放在NN上执行，由于NN是硬件连线，执行效率和功耗更占优，TP则是负责内存搬运，比如池化操作放在TP上执行，还有PPU，它类似于GPU中的 Shader单元，可以通过编成实现灵活的逻辑，有专门的指令集EVIS对其进行编程，上采样算子以及反量化算子可以放上去跑。

当然，RK不叫这个名字，但是也仅仅是不叫这个名字，RK分别叫做 CNA， DPU，PPU，应该是换汤不换药，功能类似。

另外，看完直播后总体感觉RK的异构算力整合能力是强于我们的，很多我之前听都没有听过的IP，他们已经玩儿的很6了，不过再强大的算力整合能力，也需要软件配合好，这方面也不弱，从下图可以看的出来：

快启动：

第一次知道RK3588这颗芯片，NPU算力达到6TFOPS, 4屏异显，同时支持高清解码，新一代的性能怪兽。

结束