NTU 课程 7454 CNN进阶

Posted 2021-10-02 UQI-LIUWJ

1 Resnet

机器学习笔记：ResNet 及残差连接_UQI-LIUWJ的博客-CSDN博客

2 Wide ResNet(2016)

        中心思想：当时一些CNN网络是瘦长瘦长的（高达1001层）；但这个模型证明，宽而且浅的模型（18~50层左右，也可以有很好的表现）

        层数会存在边际效益递减：比如：5~18层——效果提升的异常显著；18~50层——有不错的效果；50层+——可能多一层就没啥显著的效果了

基本单元形式：

 

这里16*k是指，channel的数量是16的k倍（后面会对k的数量进行讨论）

同样地，*N表示在c