深度学习系列资料总结

Posted GoAI

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习系列资料总结相关的知识，希望对你有一定的参考价值。

✨写在前面：强烈推荐给大家一个优秀的人工智能学习网站，内容包括人工智能基础、机器学习、深度学习神经网络等，详细介绍各部分概念及实战教程，通俗易懂，非常适合人工智能领域初学者及研究者学习。➡️点击跳转到网站。

深度学习系列最全资料总结

说明：本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。侵权联系删除！

😊 初学者学习资料推荐：

1️⃣ 深度学习知识点全面总结: link

2️⃣ 机器学习知识点全面总结: link

3️⃣ Pytorch学习笔记总结:link

一、深度学习概念

1.深度学习定义

深度学习定义：一般是指通过训练多层网络结构对未知数据进行分类或回归
深度学习分类：
有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；
无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。

2.深度学习应用

图像处理领域主要应用

图像分类(物体识别)：整幅图像的分类或识别
物体检测：检测图像中物体的位置进而识别物体
图像分割：对图像中的特定物体按边缘进行分割
图像回归：预测图像中物体组成部分的坐标

语音识别领域主要应用

语音识别：将语音识别为文字
声纹识别：识别是哪个人的声音
语音合成：根据文字合成特定人的语音

自然语言处理领域主要应用

语言模型：根据之前词预测下一个单词。
情感分析：分析文本体现的情感(正负向、正负中或多态度类型)。
神经机器翻译：基于统计语言模型的多语种互译。
神经自动摘要：根据文本自动生成摘要。
机器阅读理解：通过阅读文本回答问题、完成选择题或完型填空。
自然语言推理：根据一句话(前提)推理出另一句话(结论)。

综合应用

图像描述：根据图像给出图像的描述句子
可视问答：根据图像或视频回答问题
图像生成：根据文本描述生成图像
视频生成：根据故事自动生成视频

二、资料总结

1.机器学习算法

  1. 手写机器学习笔记 github

  2. 机器学习算法公式推导以及numpy实现 github

  3. 人工智能相关术语 link

  4. 周志华《机器学习》手推笔记 github

  5. 机器学习算法 基于西瓜书以及《统计学习方法》 github

2.算法比赛相关

  1. 数据挖掘比赛笔记总结 link
  2. 算法竞赛笔记 github
  3. 算法模型调优指南 link
  4. 人工智能竞赛Top解决方案 github
  5. 数据竞赛优胜解集锦 github
  6. 特征工程小锦囊 github

3.算法岗面试相关

  1. 算法岗工作总结 github
  2. 人工智能实战面试学习路线图 Ai-Learn
  3. 百面机器学习之模型评估 link
  4. 面向机器学习的特征工程 github
  5. 深度学习500问 github
  6. 深度学习无限问 github
  7. 计算机视觉知识点总结 link
  8. 深度学习CV领域最瞩目的成果 link
  9. 算法工程师技术路线图 link

深度学习基础

基础教程

  1. 机器学习与深度学习基础概念介绍 link

  2. 怎样写一个深度学习框架 link

  3. 深度学习算法地图 link

  4. 卷积神经网络的感受野 link

  5. 「深」为什么重要，以及还有什么深的网络 link

  6. 深度学习入门之激活层及其选择的建议 link

  7. 深度学习如何优化神经网络结构|架构 link

  8. 深度学习“科学炼丹”手册 link

  9. 深度学习训练tricks整理 数据增强等技巧 link

  10. pytorch图卷积库 github

  11. AI模型序列化总结 github

  12. AiLearning 传统机器学习的讲解、分析和代码github

  13. CNN真的需要下采样（上采样）吗? link

  14. 构建深度神经网络，我有20条「不成熟」的小建议 link

  15. feature map 相加和拼接的不同 link

  16. 你有哪些deep learning（rnn、cnn）调参的经验？ link

官方文档类

  1. numpy-ml github
  2. AI实战-practicalAI 中文版 github
  3. TensorFlow 2.0 Tutorials github
  4. PaddlePaddle V2教程 github
  5. 深度学习课程(第四梯)所设计的课程实作 github
  6. TensorFlow 内核剖析 github

综述类文章

  1. 各类算法综述 github

  2. 目标检测的综述 link

  3. 常见的模型算法评估指标 link

  4. GAN万字长文综述 link

  5. 神经网络压缩综述 link

  6. 细粒度图像分析综述 link

  7. 人脸识别损失函数综述 link

  8. OCR papernote github

  9. 图像分割综述 link

  10. 图像内容鉴黄算法综述 link

  11. AI技术三大应用领域：智能医疗、自动驾驶、智慧营销产业发展现状分析 link

  12. 深度学习模型在各大公司实际生产环境的应用讲解文章 github

  13. 深度学习AI产品全栈 github 点评

论文与代码

  1. 论文代码合集 github
  2. CVPR 2021 论文和开源项目合集(Papers with Code) github
  3. 深度学习 论文解读 CV_PaperDaily github
  4. 发布研究论文代码技巧 github

深度学习模型

  • 项目地址：https://github.com/SnailTyan/deep-learning-papers-translation

图像分类 Image Classification

经典网络模型

Transformers

  1. Vision Transformer link
  2. SETR：基于Transformer的语义分割 link
  3. End-to-End Object Detection with Transformers link
  4. Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet github
  5. vision-transformer-pytorch
  6. 如何简单高效地加速基于BERT的序列标注模型？细粒度早退机制可能会优于模型蒸馏 link
  7. 当Transformer遇见U-Net！ link

轻量网络

Mobile

  1. 轻量级卷积神经网络的设计技巧 link

  2. MixNet-Pytorch github

  3. MobileNetV3 pytorch 2019 github linklinkgithub

  4. ShuffleNet 官方开源github

  5. 为什么MobileNet及其变体如此之快 github

  6. dabnn 二值网络 github

  7. 神经网络量化简介 github

  8. 手机端高性能卷积神经网络推理引擎概览 github

蒸馏 剪枝 量化

  1. 模型加速概述与模型裁剪算法技术解析 link
  2. Tensorflow模型量化(Quantization)原理及其实现方法 link
  3. 基于Pytorch的卷积神经网络剪枝 link
  4. 用FPGA加速卷积神经网络CNN运算 github
  5. 模型压缩 link
  6. 神经网络量化简介 link
  7. 模型转换、模型压缩工具汇总 link
  8. 模型压缩总览 link
  9. AIMET是一个为经过训练的神经网络模型提供高级量化和压缩技术的库 github
  10. Pytorch实现卷积神经网络训练量 link
  11. 深入了解NNIE量化技术 link
  12. Knowledge Distillation知识蒸馏简单实现 link
  13. 神经网络量化入门–量化感知训练 github
  14. EagleEye：一种用模型剪枝的快速衡量子网络性能的方法 link

激活函数与优化函数

学习参考（强推）：link

损失函数

  1. 损失函数技术总结 link

  2. 根据标签分布来选择损失函数 link

  3. 深度学习多目标优化的多个loss应该如何权衡 link

  4. 归一化方法总结 link

  5. Kaggle图像分割比赛中的损失函数及keras实现 link

  6. 11个重要的机器学习模型评估指标 link

  7. IQA-optimization 图像质量的损失函数 github

  8. regression-losses-pytorch github

  9. 分类回归损失函数汇总 link

  10. Learned Perceptual Image Patch Similarity (LPIPS) metric github

  11. 超分损失函数小结 link

  12. DataGene - 识别数据集之间的相似度 github

  13. Muti-Similarity Loss link github

  14. FAT：一种快速的Triplet Loss近似方法，学习更鲁棒的特征表示，并进行有噪声标签的提纯 link github

  15. 用于医学图像分割的损失函数 link

  16. 目标检测回归损失函数简介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss [link]

分类

  1. CNN模型合集 link

  2. 分类实现合集 pytorch github

  3. 让CNN有了平移不变性 link

  4. lottery-ticket-hypothesis github

  5. pytorch_image_classification github

  6. deeplearning-modelsgithub

  7. EfficientNets-PyTorch 2019 github

  8. ML_GCN PyTorch implementation of Multi-Label Image Recognition with Graph Convolutional Networks, CVPR 2019 github

  9. pytorch_highway_networks github

  10. 推崇的CNN架构 link

  11. 图卷积网络Numpy实现 link

  12. PeleeNet-基于手机系统的实时网络 link

  13. TResNet: High Performance GPU-Dedicated Architecture github

  14. ResNeSt 李沐团队提出最强ResNet改进版，多项任务达到SOTA github

  15. SCNet - PyTorch官方实现CVPR 2020论文“使用自校准卷积改进卷积网络” github

  16. SimCLR 对比学习得到一个好的视觉预训练模型 link

  17. SimCLR框架的理解和代码实现以及代码讲解 link

  18. RepVGG 2021 link

深度学习框架

Tensorflow

  1. 《30天吃掉那只 TensorFlow2.0 》开篇辞 github

pytorch

github nightly torch_stable pytorch_lightning

  1. 《动手学深度学习》（Dive into Deep Learning）PyTorch github
  2. eat_pytorch_in_20_days eat_pytorch_in_20_days
  4. pytorch-inference github
  5. Pytorch 学习流程汇总 link
  6. PyTorch 官方中文教程 github
  7. 在PyTorch中实现的语义分割模型，数据集和损失 github
  8. Fast-Pytorch github
  9. 《动手学深度学习》例子的PyTorch实现 github
  10. 9大主题卷积神经网络(CNN)的PyTorch实现 github
  11. PyTorch-Models github
  12. pytorch-image-models Pytorch Image Models (rwightman.github.io)
  13. 如何将其他框架训练模型导入到pytorch中 link link2
  14. torchcv github
  15. Pytorch之contiguous函数 link
  16. Awesome-Pytorch-list github
  17. 一组有关pytorch功能的Jupyter笔记本和示例 github
  18. pytorch 小技巧
  19. pytorch-memonger 减少内存 github
  20. 具有SOTA实时性能和预先训练的权重的EfficientDet官方pytorch重现 github
  21. Pytorch的4种并行训练方法（单机多卡） github
  22. PyTorch的深度学习项目模板(支持分布式学习) github
  23. 使用PyTorch手写代码从头构建LSTM，更深入的理解其工作原理 github

Paddlepaddle

  1. 基于PaddlePaddle的高性能对象检测和人脸检测工具包 github
  2. PaddleSlim

ONNX

  1. onnxruntime github doc
  2. 详细记录YOLACT实例分割ncnn实现 link
  3. 系统性学习ONNX：背景、格式及简化方法 link
  4. onnx2nn
  5. onnx-simplifier

tensorRT

  1. Pytorch通过保存为ONNX模型转TensorRT5 link
  2. onnx-tensorrt github
  3. PyTorch转TensorRT流程 link
  4. windows环境下安装TensorRT 5.0教程（win10） link
  5. TensorRT-7 Network Lib 包括常用目标检测、关键点检测、人脸检测、OCR等 github

其他框架

  1. 清华AI框架 jittor官网 github

  2. MegEngine 旷世AI框架 link github

  3. mindspore 华为AI框架mindspore

  4. 商汤开源框架ppl.nn ppl.cv

工具类

绘图工具

  1. 画网络图等tensorwatch link github
  2. 教程 | 如何使用Keras、Redis、Flask和Apache把深度学习模型部署到生产环境？ link
  3. pytorch可视化 github
  4. FlashTorch 特征可视化 link
  5. 画卷积网络 github
  6. netron 网络结构图显示 github
  7. 画图工具 github
  8. netron 查看网络工具 github
  9. Model Zoo link
  10. 神经网络模型图示 github
  11. combo:「Python机器学习模型合并工具库」 github

数据工具

  1. labelImg github
  2. modelsummary github
  3. pytorch-experiments-template github
  4. m2cgen Transform ML models into a native code (Java, C, Python, etc.) with zero dependencies github
  5. PyTorch工具、最佳实践、代码风格指南 github
  6. FLAT - 人脸特征点标注工具 github
  7. 把Caffe的模型转换为Pytorch模型 link
    13.Torchcam: PyTorch模型类激活图浏览器 github
  8. PopGen是用PyTorch编写的生成建模工具包 github
  9. Lucent：适用于 PyTorch 的 Lucid 深度网络可视化/可解释性开发库 github

CV方向

图像处理

  1. opencv基础教程csdn

  2. OpenCV中文官方文档 link

  3. facechanging 变脸 github

  4. AI美颜系列 CSDN

  5. 图像处理算法 博客园

  6. 图像的模糊检测方法 link

  7. 图像保边滤波算法集锦系列 github

  8. 只(挚)爱图像处理 link

  9. Photoshop 算法原理 link

  10. 图像处理初学者设计的 100 个问题 github

物体检测Object Detection

目标检测

  1. 目标检测之Neck选择 link

  2. 详解目标检测中边界框的回归策略 link

  3. 目标检测中的特征冲突与不对齐问题 link

  4. 小目标检测学习汇总 link

  5. groupsoftmax-simpledet

  6. 在物体检测中搞定小目标 link

  7. vedadet检测框架

  8. 在目标检测中如何解决小目标的问题？ link

视频目标检测

  1. 基于视频的目标检测算法研究github

基于坐标点做目标检测

  1. Centernet相关—尤其有关heatmap相关解释 link
  2. FreeAnchor: Learning to Match Anchors for Visual Object Detection (NeurIPS 2019) github
  3. 用于实时物体检测并且训练时间友好的网络 - TTFNet github
  4. CenterNet——Objects as Points论文解读 2019 link
  5. ExtremeNet pytorch 2019 link github
  6. morph-net 2019 keras github
  7. CenterNet 2019 pytorch github
  8. FCOS 2019 github FCOS_GluonCVgithub
  9. CenterNet 2019 github
  10. PaperReadingGroup-10-CenterNet之理解 link
  11. FoveaBox 2019 link
  12. RepPoints V2 github link
  13. AdelaiDet github link
  14. pytorch_simple_CenterNet_45
  15. When Anchor-free Beyond the Object Detection
  16. PPDet：减少Anchor-free目标检测中的标签噪声，小目标检测提升明显 2020 github
  17. 轻量级Anchor-Free目标检测模型NanoDet github
  18. centerX github
  19. NanoDet-PyTorch github
  20. LFD-A-Light-and-Fast-Detector github
  21. Centernet link

基于分割

Image Segmentation

  1. DenseBox pytorch github link
  2. 写给小白的YOLO介绍 link
  3. OneNet：一阶段的端到端物体检测器，无需NMS link
  4. Object Detection Made Simpler by Eliminating Heuristic NMS github

基于候选框做目标检测

  1. 目标检测新突破！来了解Res2Net深度多尺度目标检测架构 link github

  2. 目标检测中Anchor的本质分析 github

  3. 利用YOLOv3结合行人重识别模型，实现行人的检测识别，查找特定行人 github

  4. CBNet:一种用于目标检测的复合骨干网络体系结构 2019 github

  5. 单级目标检测：YOLO与SSD，我选SSD！！！ link

  6. 【SSD算法】史上最全代码解析-核心篇 github

  7. MXNet的一个开源项目gluoncv里的yolov3代码，写了一份中文注解 github

  8. faster-rcnn pytorch github

  9. 十分钟训好SSD416进行钢筋检测 link github

  10. Why anchor link

  11. Double-Head RCNN 通过增加多个head提升准确率github

  12. 对YOLOv3做模型剪枝 pytorch 2019 github

  13. simpledet NAS-FPN 2019 mxnetgithub

  14. SSD-PyTorch源码解析 link github

  15. PoolNet pytorch 2019 github

  16. SSD pytorch github link

  17. 2018云从人头技术 冠军方案分享 github

  18. 目标检测进化史 link

  19. ThunderNet: 轻量级实时检测网络

  20. mmdetection github

  21. Rapid satellite imagery object detection 2018 github

  22. Yolo系列检测器的pytorch实现 github

  23. awesome-object-detection github

  24. deep_learning_object_detection github

  25. RFCN_CoupleNet pytorch github

  26. Yolo-v2 pytorch github

  27. RFBNet pytorch github

  28. CFENet pytorch github

  29. BiSeNet pytorch github

  30. kaggle 大白鲸目标检测 github

  31. R-FCN+ResNet-50用自己的数据集训练模型 link

  32. trident net + refinedet 目标检测 github

  33. 基于SSD框架在建筑工地上检测安全帽的佩戴并识别安全帽的相应颜色 link

  34. 基于 Mask R-CNN 的街景广告检测与模糊 tensorflow github

  35. yolov3通道和图层修剪 github

  36. YOLOv3+ASFF(自适应空间特征融合)组合，性能优于CornerNet和CenterNet等 github

  37. 使用通道修剪的Stronger-Yolo的Pytorch实现 github

  38. Gaussian YOLOv3的PyTorch实现 github

  39. PyTorch实现的EfficientDet(可扩展且高效的对象检测) github

  40. Kaggle RSNA肺炎检测挑战赛中第一名解决方案的代码 github

  41. Yolo-v3 and Yolo-v2 for Windows and Linux github link

  42. 目标检测算法之YOLO系列算法的Anchor聚类代码实战 link github

  43. 天池大赛项目：天池新品实验室 - 淘宝直播商品识别 github

  44. 只用一页jupyter notebook完成Faster RCNN github

  45. Pytorch版本中的Faster RCNN模型，已在ResGen 101的Visual Genome上进行了预训练 github

  46. Yolo -v4 github YOLOv4的最小PyTorch实现 github 讲解

  47. Faster-Rcnn：Two-Stage目标检测模型在Pytorch当中的实现 github

  48. Scale-equalizing Pyramid Convolution for object detection github link

  49. End-to-End Object Detection with Transformers 2020 github

  50. yolov5 github

  51. PP-YOLO link github

  52. YOLOv3使用笔记——Kmeans聚类计算anchor boxes link

  53. YOLO v4训练自己的数据集 link

  54. 深入浅出Yolo系列之Yolov3&Yolov4&Yolov5核心基础知识完整讲解 link

  55. 深入浅出Yolo系列之Yolov5核心基础知识完整讲解 link

  56. You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery 卫星图片多尺寸物体检测 link github

  57. 目标检测和感受野的总结和想法 link

  58. 目标检测算法anchor聚类实现(coco+voc)

  59. 小目标检测学习 link

  60. BBAVectors：一种Anchor Free的旋转物体检测方法 link

  61. Repulsion Loss 遮挡场景下的目标检测 link

  62. mmdetection-mini github

  63. 1.8M超轻量目标检测模型NanoDet link

  64. 旋转目标新网络 link github

  65. 令人“细思极恐”的Faster-R-CNN link github

  66. 基于密度图的航空物体检测 link

语义分割

Image-Level 弱监督图像语义分割汇总简析 link

交互式语义分割

  1. Interactive_Segmentation_Models github
  2. DeepGrabCut-PyTorch github
  3. Deep Extreme Cut tensorflow github pytorch github
  4. U-Net-Interactive-Object-Selection github
  5. Interactive Image Segmentation with Latent Diversity github
  6. 深度学习在交互式图像分割中的应用 link
  7. Curve-GCN:图卷积网络用于活动轮廓演变 github

像素分类分割

  1. ICNet 搞笑分割模型 link
  2. 移动设备高性能实时网络/语义分割论文资源列表 github
  3. FSS-1000, A 1000-class Dataset For Few-shot Segmentation github
  4. 12篇文章带你逛遍主流分割网络 link
  5. Fast-SCNN的PyTorch实现：快速语义分割网络 github
  6. Code awesome-semantic-segmentation github
  7. 常用的语义分割架构结构综述以及代码复现 github
  8. 实时语义分割模型集合 [github](https://github.com/xiaoyufenfei/Real-Time-Semantic-Segmentation）
  9. 无监督和超像素语义分割 linkgithub github
  10. ReDO 通过对抗

    以上是关于深度学习系列资料总结的主要内容，如果未能解决你的问题，请参考以下文章

    深度学习系列资料总结

    Deep Learning（深度学习）学习笔记整理系列 一

    深度学习网络模型介绍及实战

    深度学习系列经典博客收藏

    深度学习及神经网络学习总结

    深度学习系列专题