快手自研YCNN ,让复杂神经网络模型加速实现 | GMTC
Posted 前端之巅
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了快手自研YCNN ,让复杂神经网络模型加速实现 | GMTC相关的知识,希望对你有一定的参考价值。
如今,人工智能发展已进入“落地为王”阶段,端侧 AI 现已成为端侧技术新热点。相比云侧 AI,端侧 AI 具有低延时、保护数据隐私、节省云端计算资源等优势,并且紧贴用户在 AR 特效、搜索推荐等方面有诸多创新应用。
AI 技术在智能⼿机和智能设备中的应⽤同样也越来越广泛,⽐如短视频 App 中的 AR 特效、⼈脸⻔禁等。单从短视频 App 的应用情况来看,用户设备计算量有限、引擎运行速度不足等问题,都对 AI 技术的流畅运行提出了更高的要求。
为了解决移动端 AI 在不同应用场景下的产品性能和用户体验,快手自研了 YCNN 端上深度学习推理引擎。该引擎在不同硬件平台做了适配和指令级优化,可以让复杂神经网络模型在运行时得到加速实现;并与模型压缩配合,减少模型在空间和时间上的消耗;同时不影响算法精度并保证技术创新水平,便于部署在受限制的端上环境中。
2020 年 7 月 24-27 日在北京,由 InfoQ 主办的 GMTC 全球大前端技术大会(会议 + 深度培训), 邀请到快手 Y-tech AI 工程负责人边红昌做一次技术分享,将详细解读 YCNN 端上模型设计和高效引擎设计,希望能够让大家了解更多端上 AI 实际的应用场景以及移动端模型设计,能够在自身端侧 AI 的探索上有所启发。可从下文快速了解演讲内容:
1、移动端 AI 应用场景
短视频拍摄
人体分析 / 场景理解
智能图像处理
智能美颜 / 风格化
2、端上模型设计
重点要素
普适高效
基于引擎特性的模型设计
协同设计
生成式模型实时化
实时化难度与实战
3、高效引擎设计
整体框架介绍
全平台覆盖 / 工具链
混合精度量化方案设计
定点与浮点混合使用
端上引擎的优化策略
算子融合 / 特殊优化 / 自动适配
4、未来与展望
边红昌,2016 年加入快手,现任 Y-tech AI 工程团队负责人。多年音视频和图像处理及性能优化经验,目前负责 AI 工程化和交付。
大会目前 8 折 优惠报名,限时立减 960 元! 联系票务小姐姐鱼丸:13269078023(同微信),了解更多可扫描下图二维码或点击【阅读原文】。
以上是关于快手自研YCNN ,让复杂神经网络模型加速实现 | GMTC的主要内容,如果未能解决你的问题,请参考以下文章
模型端侧加速哪家强?一文揭秘百度EasyEdge平台技术内核
Fortinet推出新一代自研安全芯片,跨所有网络边缘加速网络与安全融合
不限机型,手机端实时玩转3D混合现实,快手Y-tech有黑科技(已开源)