Dropout

Posted 2021-01-14 ann21

From 《白话深度学习与TensorFlow》

        Dropout 顾名思义是“丢弃”，在一轮训练阶段丢弃一部分网络节点，比如可以在其中的某些层上临时关闭一些节点，让他们既不输入也不输出，这样相当于网络的结构发生了改变。而在下一轮训练过程中再选择性地临时关闭一些节点，原则上都是随机性。这样每一次训练相当于网络的一部分所形成的一个子网络或者子模型。而这种情况同时也在一种程度上降低了VC维的数量，减小过拟合的风险。在最终的分类阶段将所有的节点都置于有效状态，这样就可以把训练中得到的所有子网络并联使用，形成一个由多个VC维较低的部分的分类模型所组成的完整的分类模型。

在TensorFlow中设置训练当中的Dropout比例只要加入以下代码就可以：

keep_pro=tf.placeholder(tf.float32)

h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)

 

From 《Deep Learning》