PyTorch笔记 - ResNet: Deep Residual Learning for Image Recognition
Posted SpikeKing
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PyTorch笔记 - ResNet: Deep Residual Learning for Image Recognition相关的知识,希望对你有一定的参考价值。
欢迎关注我的CSDN:https://blog.csdn.net/caroline_wendy
本文地址:https://blog.csdn.net/caroline_wendy/article/details/128341408
Paper:ResNet - Deep Residual Learning for Image Recognition
- Kaiming He,Microsoft Research
工程:TIMM,https://github.com/rwightman/pytorch-image-models
背景:56层的网络要比20层的网络表现差,无论是训练集还是测试集。
解决方案:
- 为了让深层网络表现不比浅层网络差,可以让新增的层只学习一个恒等变换(Identity Mapping),也就是输出等于输入。
- 本文提出了Residual Learning的框架,即输出Y=F(x)+x,其中x为shotcut,而F(X)是用于学习残差部分Y-x
- 若x与F(x)维度一致,则可以进行元素逐个相加
- 若x与F(x)维度不一致,则需要新增一个投影(projection shortcut)层(如1x1 point-wise卷积),则Y=F(x)+pointwiseconv(x)
实验模型:
- 基于VGG-19
以上是关于PyTorch笔记 - ResNet: Deep Residual Learning for Image Recognition的主要内容,如果未能解决你的问题,请参考以下文章
PyTorch笔记 - ResNet: Deep Residual Learning for Image Recognition
NVIDIA Deep Learning Examples仓库上线飞桨ResNet50模型,其训练速度超PyTorch
Deep Residual Learning for Image Recognition(ResNet)-论文阅读笔记
2016-03-09-阅读笔记: dump text + report on MS ResNet + Deep feeling about DL