PyTorch笔记 - ResNet: Deep Residual Learning for Image Recognition

Posted 2023-02-22 SpikeKing

欢迎关注我的CSDN：https://blog.csdn.net/caroline_wendy
本文地址：https://blog.csdn.net/caroline_wendy/article/details/128341408

Paper：ResNet - Deep Residual Learning for Image Recognition

• Kaiming He，Microsoft Research

工程：TIMM，https://github.com/rwightman/pytorch-image-models

背景：56层的网络要比20层的网络表现差，无论是训练集还是测试集。

解决方案：

1. 为了让深层网络表现不比浅层网络差，可以让新增的层只学习一个恒等变换(Identity Mapping)，也就是输出等于输入。
2. 本文提出了Residual Learning的框架，即输出Y=F(x)+x，其中x为shotcut，而F(X)是用于学习残差部分Y-x
   1. 若x与F(x)维度一致，则可以进行元素逐个相加
   2. 若x与F(x)维度不一致，则需要新增一个投影(projection shortcut)层(如1x1 point-wise卷积)，则Y=F(x)+pointwiseconv(x)

实验模型：

1. 基于VGG-19