机器学习笔记：随机深度网络 stochastic depth

Posted 2022-09-26 UQI-LIUWJ

[1603.09382v1] Deep Networks with Stochastic Depth (arxiv.org)

1 模型介绍

有点类似于以层为基本单元的dropout

•  在ResNet中，有：
•  在stochastic depth中，多了一个随机变量b
  •  b的概率分布满足伯努利分布（pl的概率取1，1-pl的概率取0）
  • b=1时，即为ResNet结构；b=0时，就是一个恒等函数（残差支线没有被激活）

• 这里p被称为“生存概率”，有两种设置方式 
  • 将各层的pl设置为同样的一个值
  • 将pl设置成残差层数l的函数
    • 第0层取1的概率为1（P0=1）；第L层取1的概率为PL；中间线性递减
    • 

• 论文选择了第二种设置方式，即将线性衰减规律应用于每一层的生存概率的设置
  • 这是因为较早的层会提取低级特征，而这些低级特征会被后面的特征应用，因此前面的层不应该频繁的被丢弃

2 python实现（timm包）

from timm.models.layers import DropPath

drop_path = DropPath(0.1)

###对于forward中每一层计算完后的x#####
x=drop_path(x)