腾讯优图开源项目全景图!

Posted OpenCV中文网

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了腾讯优图开源项目全景图!相关的知识,希望对你有一定的参考价值。




腾讯优图开源项目全景图!


腾讯优图属于国内工业界CV领域实验室的第一梯队,其不仅服务腾讯内部线上产品,也开源了多个前沿研究和工程项目,本文盘点优图实验室开源的所有项目,其中最“火”的三个工程是『NCNN』、『人脸检测-DSFD』、『目标检测-OSD』。



  • 腾讯优图项目主页

    https://github.com/TencentYoutuResearch


    01    

SuperResolution-RealSR


腾讯优图开源项目全景图!


一种在真实世界环境下的新型 degradation(降质)框架-Real-SR,为超分辨率学习提供真实的图像。通过对 kernel 和 noise 的估计,来探索  blurry 和 noisy 图像的具体 degradation(降质)情况。
获得 NTIRE 2020 Challenge Real-World SuperResolution 两个赛道的冠军。
论文盘点 | 

视觉结果:


腾讯优图开源项目全景图!

腾讯优图开源项目全景图!


对比结果:('Impressionism' is our team.

腾讯优图开源项目全景图!

腾讯优图开源项目全景图!


  • 论文题目

    Real-World Super-Resolution via Kernel Estimation and Noise Injection

  • http://link.52cv.net/uE6fmZ

  • https://github.com/Tencent/Real-SR


    02    

InferenceFramework-NCNN


NCNN 是一个针对移动平台优化的高性能神经网络推理框架。

支持大部分常用的 CNN 网络:
  • Classical CNN: VGG AlexNet GoogleNet Inception ...
  • Practical CNN: ResNet DenseNet SENet FPN ...
  • Light-weight CNN: SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet ...
  • Face Detection: MTCNN RetinaFace ...
  • Detection: VGG-SSD MobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite MobileNetV3-SSDLite ...
  • Detection: Faster-RCNN R-FCN ...
  • Detection: YOLOV2 YOLOV3 MobileNet-YOLOV3 YOLOV4 ...
  • Segmentation: FCN PSPNet UNet YOLACT ...
  • Pose Estimation: SimplePose ...
功能强大:
  • 支持卷积神经网络,支持多输入和多分支结构,可计算部分分支
  • 无任何第三方库依赖,不依赖 BLAS/NNPACK 等计算框架
  • 纯 C++ 实现,跨平台,支持 android ios
  • ARM NEON 汇编级良心优化,计算速度极快
  • 精细的内存管理和数据结构设计,内存占用极低
  • 支持多核并行计算加速,ARM big.LITTLE cpu 调度优化
  • 支持基于全新低消耗的 vulkan api GPU 加速
  • 整体库体积小于 700K,并可轻松精简到小于 300K
  • 可扩展的模型设计,支持 8bit 量化和半精度浮点存储,可导入 caffe/pytorch/mxnet/onnx/darknet 模型
  • 支持直接内存零拷贝引用加载网络模型
  • 可注册自定义层实现并扩展

使用案例:

  • 图像分类android实例

    https://github.com/nihui/ncnn-android-squeezenetFast 

  • 风格迁移android实例

    https://github.com/nihui/ncnn-android-styletransfer

  • 目标检测android实例

    https://github.com/nihui/ncnn-android-mobilenetssd

  • MTCNN人脸检测工程

    https://github.com/moli232777144/mtcnn_ncnn

下滑查看效果图:

图像分类:


腾讯优图开源项目全景图!

风格迁移:

腾讯优图开源项目全景图!

目标检测:

腾讯优图开源项目全景图!

人脸检测:

腾讯优图开源项目全景图!

  • https://github.com/Tencent/ncnn


    03    

FaceDetection-DSFD


腾讯优图开源项目全景图!



高精度双分支人脸检测器:DSFD,在WIDER FACE 和 FDDB数据集均取得了精度第一 (刚出来时)
论文盘点 | 

结果展示:


腾讯优图开源项目全景图!

腾讯优图开源项目全景图!

  • 论文题目

    DSFD: Dual Shot Face Detector

  • https://arxiv.org/abs/1810.10220

  • https://github.com/Tencent/FaceDetection-DSFD


    04    

ObjectDetection-OneStageDet


腾讯优图开源项目全景图!


单阶段通用目标检测器:OSD
特征:
  • 同时包括Yolov2和Yolov3

  • 性能优

  • 训练速度如 darknet 一样快

  • A lot of efficient backbones on hand

论文盘点 | 

  • https://github.com/Tencent/ObjectDetection-OneStageDet


    05    

ActionDetection-DBG


腾讯优图开源项目全景图!


一个新的统一动作检测框架:DBG,性能优于最先进的动作检测器 BSN 和 BMN。2019 年 ActivityNet 挑战赛,Temporal Action 提案排名第一。

解读:『

论文盘点 | 


腾讯优图开源项目全景图!


  • 论文题目

    Fast Learning of Temporal Action Proposal via Dense Boundary Generator

  • https://arxiv.org/abs/1911.04127

  • https://github.com/Tencent/ActionDetection-DBG


    06    

FaceAttribute-FAN


腾讯优图开源项目全景图!


  • 论文题目

    Harnessing Synthesized Abstraction Images to Improve Facial Attribute Recognition

  • https://www.ijcai.org/Proceedings/2018/0102.pdf

  • https://github.com/TencentYoutuResearch/FaceAttribute-FAN


    07    

FaceAlignment-FHR


基于高分辨率视频的人脸对齐算法:Fractional Heatmap Regression (FHR) ,
论文盘点 | 


腾讯优图开源项目全景图!


  • 论文题目

    Towards Highly Accurate and Stable Face Alignment for High-Resolution Video

  • https://arxiv.org/abs/1811.00342

  • https://github.com/TencentYoutuResearch/FaceAlignment-FHR


推荐阅读:


腾讯优图开源项目全景图!

备注:CV

腾讯优图开源项目全景图!

计算机视觉交流群

目标检测、跟踪,人脸检测、对齐,动作检测等最新资讯,若已为CV君其他账号好友请直接私信。

OpenCV中文网

微博/知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看,让更多人看到  

以上是关于腾讯优图开源项目全景图!的主要内容,如果未能解决你的问题,请参考以下文章

腾讯优图开放手机端深度学习框架,无第三方库依赖,可跨平台使用

腾讯开源深度学习框架ncnn,主打移动端

持续投入开源社区建设 | 阿里巴巴又一开源项目被列入 CNCF 云原生全景图

腾讯优图人脸检测

KubeSphere 社区开源负载均衡器 Porter 进入 CNCF 云原生全景图

腾讯开源进入爆发期,Plato助推十亿级节点图计算进入分钟级时代