论文笔记-5Spatial Transformer Networks(STN)

Posted 2022-12-05 Paul-Huang

Spatial Transformer Networks(STN)-论文笔记

• 论文： Spatial Transformer Networks
• 作者：Max Jaderberg Karen Simonyan Andrew Zisserman Koray Kavukcuoglu
• code1：https://github.com/oarriaga/STN.keras
• code2：https://github.com/kevinzakka/spatial-transformer-network

1. 问题提出

1. CNN在图像分类中取得了显著的成效，主要是得益于 CNN 的深层结构具有 ：$平移不变性、缩小不变性$；还对缺失的$空间不变性（spatiallyinvariance）$做了相应的实验。

   • $平移不变性$主要是由于 Pooling 层 和 步长不为1的卷积层 的存在带来的。实际上主要是池化层的作用：
     • 层越多，越深，池化核或卷积核越大，空间不变性也越强；
     • 但是随之而来的问题是局部信息丢失，所以这些层越多准确率肯定是下降的，所以主流的CNN分类网络一般都很深，但是池化核都比较小，比如2×2。
   • $缩小不变性$主要是通过降采样来实现的。降采样比例要根据数据集调整，找到合适的降采样比例，才能保证准确率的情况下，有较强的空间不变性。
     • 比如ResNet，GoogLeNet，VGG，FCN，这些网络的总降采样比例一般是 16或32，基本没有见过 64倍，128倍或者更高倍数的降采样（会损失局部信息降低准确率），也很少见到 2倍或者4倍的降采样比例（空间不变性太弱，泛化能力不好）。

2. $空间不变性（spatiallyinvariance）$这些不变性的本质就是图像处理的经典手段：空间变换，又服从于同一方法：坐标矩阵的仿射变换。因此DeepMind设计了$SpatialTransformerNetworks$(简称STN)，目的就是显式地赋予网络对于以上各项变换(transformation)的不变性(invariance) .
   –

2. 图像处理技巧

2.1 仿射变化

主要是要处理$(2\times 3)$的变换矩阵：
$${\mathcal{T}}_{\theta }=\left[\begin{array}{ccc}{\theta }_{11}& {\theta }_{12}& {\theta }_{13}\\ {\theta }_{21}& {\theta }_{22}& {\theta }_{23}\end{array}\right]\text{\hspace{1em}(2.1)}$$

• 平移：
  $$\left[\begin{array}{ccc}1& 0& {\theta }_{13}\\ 0& 1& {\theta }_{23}\end{array}\right]\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{l}x+{\theta }_{13}\\ y+{\theta }_{23}\end{array}\right]\text{\hspace{1em}(2.2)}$$

• 缩放：
  $$\left[\begin{array}{ccc}{\theta }_{11}& 0& 0\\ 0& {\theta }_{22}& 0\end{array}\right]\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{l}{\theta }_{11}x\\ {\theta }_{22}y\end{array}\right]\text{\hspace{1em}(2.3)}$$

• 旋转：
  对于旋转操作，设绕原点顺时针旋转 $\alpha$ 度，坐标仿射矩阵为:
  $$\left[\begin{array}{ccc}\cos (\alpha )& \sin (\alpha )& 0\\ -\sin (\alpha )& \cos (\alpha )& 0\end{array}\right]\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{c}\cos (\alpha )x+\sin (\alpha )y\\ -\sin (\alpha )x+\cos (\alpha )y\end{array}\right]\text{\hspace{1em}(2.4)}$$

  由于图像的坐标不是中心坐标系，通常需要做Normalization，把坐标调整到 [ − 1 , 1 ] [-1,1] 论文笔记Spatial Transformer Networks

  论文笔记：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

  论文阅读笔记 | 分类网络——CSWin Transformer

  论文笔记 Enhancing the Locality and Breaking the MemoryBottleneck of Transformer on Time Series Forecas

  论文笔记：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

  论文笔记：Swin-Unet: Unet-like Pure Transformer for MedicalImage Segmentation