快手自研YCNN ,让复杂神经网络模型加速实现 | GMTC

Posted 前端之巅

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了快手自研YCNN ,让复杂神经网络模型加速实现 | GMTC相关的知识,希望对你有一定的参考价值。

如今,人工智能发展已进入“落地为王”阶段,端侧 AI 现已成为端侧技术新热点。相比云侧 AI,端侧 AI 具有低延时、保护数据隐私、节省云端计算资源等优势,并且紧贴用户在 AR 特效、搜索推荐等方面有诸多创新应用。

AI 技术在智能⼿机和智能设备中的应⽤同样也越来越广泛,⽐如短视频 App 中的 AR 特效、⼈脸⻔禁等。单从短视频 App 的应用情况来看,用户设备计算量有限、引擎运行速度不足等问题,都对 AI 技术的流畅运行提出了更高的要求。

为了解决移动端 AI 在不同应用场景下的产品性能和用户体验,快手自研了 YCNN 端上深度学习推理引擎。该引擎在不同硬件平台做了适配和指令级优化,可以让复杂神经网络模型在运行时得到加速实现;并与模型压缩配合,减少模型在空间和时间上的消耗;同时不影响算法精度并保证技术创新水平,便于部署在受限制的端上环境中。

2020 年 7 月 24-27 日在北京,由 InfoQ 主办的 GMTC 全球大前端技术大会(会议 + 深度培训), 邀请到快手 Y-tech AI 工程负责人边红昌做一次技术分享,将详细解读 YCNN 端上模型设计和高效引擎设计,希望能够让大家了解更多端上 AI 实际的应用场景以及移动端模型设计,能够在自身端侧 AI 的探索上有所启发。可从下文快速了解演讲内容:

演讲提纲

1、移动端 AI 应用场景

  • 短视频拍摄

  • 人体分析 / 场景理解

  • 智能图像处理

  • 智能美颜 / 风格化

2、端上模型设计

  • 重点要素

  • 普适高效

  • 基于引擎特性的模型设计

  • 协同设计

  • 生成式模型实时化

  • 实时化难度与实战

3、高效引擎设计

  • 整体框架介绍

  • 全平台覆盖 / 工具链

  • 混合精度量化方案设计

  • 定点与浮点混合使用

  • 端上引擎的优化策略

  • 算子融合 / 特殊优化 / 自动适配

4、未来与展望

讲师简介

边红昌,2016 年加入快手,现任 Y-tech AI 工程团队负责人。多年音视频和图像处理及性能优化经验,目前负责 AI 工程化和交付。

大会目前 8 折 优惠报名,限时立减 960 元! 联系票务小姐姐鱼丸:13269078023(同微信),了解更多可扫描下图二维码或点击【阅读原文】。

以上是关于快手自研YCNN ,让复杂神经网络模型加速实现 | GMTC的主要内容,如果未能解决你的问题,请参考以下文章

模型端侧加速哪家强?一文揭秘百度EasyEdge平台技术内核

Fortinet推出新一代自研安全芯片,跨所有网络边缘加速网络与安全融合

自研芯片,快手打响 ToB 第一战!

不限机型,手机端实时玩转3D混合现实,快手Y-tech有黑科技(已开源)

张江:演化网络——将时间维度引入复杂网络模型 | 字幕版上线

微信终端自研 C++协程框架的设计与实现