PyTorch - Dropout: A Simple Way to Prevent Neural Networks from Overfitting

Posted 2022-07-15 SpikeKing

面试：

• dropout的原理和作用是什么？
• dropout如何解决过拟合，模拟什么样的学习方法？答案：集成学习
• 在dropout中，除了直接将weight设置为0，对于保留的weight还进行哪些操作，例如p=0.2
• 实现一个dropout()函数，输入input，输出output，三层参数input，p，training
• 调用model.eval()，执行哪些操作，和没有调用之前，有什么分别？哪些常用的layer受到影响？

torch.nn的模块，包含很多layer，神经网络是核心模块，都是torch.nn的组合

结合torch.nn源码，理解不同的API，同时包括经典论文

Dropout Layers，除此之外，以函数的形式的dropout，torch.nn.functional.dropout

• nn.Dropout

torch.nn.Dropout(p=0.5, inplace=False)

import</