《计算机视觉和图像处理简介 - 中英双语版》：神经网络中的激活函数 ReLU vs Sigmoid

Posted 2023-03-07 shiter

文章大纲

• Neural Network Module and Training Function
• 创建数据集
• 什么是ReLU函数？
• 定义神经网络、标准函数、优化器和训练模型
• 测试 Sigmoid 和 Relu
• 结果分析
• 结论：为什么通常Relu 的效果比较好
• 参考文献与学习路径

---

在本文中，我们使用含有两个隐藏层的神经网络基于MNIST数据集测试Sigmoid和Relu激活函数

Neural Network Rectified Linear Unit (ReLU) vs Sigmoid

Objective 目标如下

1. Define Several Neural Network, Criterion function, Optimizer.

2. Test Sigmoid and Relu.

3. Analyze Results.

In this lab, you will test Sigmoid and Relu activation functions on the MNIST dataset with two hidden Layers.

预估时间30分钟

We’ll need the following libraries</