翻译: 4.多层感知器 pytorch

Posted 2022-04-05 AI架构师易筋

在本章中，我们将介绍您的第一个真正深入的网络。最简单的深度网络称为多层感知器，它们由多层神经元组成，每一层都与下层（它们接收输入）和上层（它们反过来影响）中的神经元完全连接。当我们训练高容量模型时，我们冒着过拟合的风险。因此，我们需要对过度拟合、欠拟合和模型选择的概念进行第一次严格的介绍。为了帮助您解决这些问题，我们将介绍正则化技术，例如权重衰减和 dropout。我们还将讨论与数值稳定性和参数初始化相关的问题，这些问题对于成功训练深度网络至关重要。在整个过程中，我们的目标是让您不仅牢牢掌握概念，而且牢牢掌握使用深度网络的实践。在本章的最后，我们将迄今为止介绍的内容应用于一个真实案例：房价预测。我们将与模型的计算性能、可扩展性和效率相关的问题放在后续章节中。

4.1。多层感知器

4.1.1。隐藏层
4.1.2. 激活函数
4.1.3。概括
4.1.4。练习

4.2. 从零开始实现多层感知器

4.2.1。初始化模型参数
4.2.2. 激活函数
4.2.3。模型
4.2.4. 损失函数
4.2.5。训练
4.2.6。概括
4.2.7。练习

4.3. 多层感知器的简明实现

4.3.1。模型
4.3.2. 概括
4.3.3. 练习

4.4. 模型选择、欠拟合和过拟合

4.4.1。训练误差和泛化误差
4.4.2. 型号选择
4.4.3. 欠拟合还是过拟合？
4.4.4. 多项式回归
4.4.5。概括
4.4.6。练习

4.5. 权重weight衰减

4.5.1。规范和权重weight衰减
4.5.2. 高维线性回归
4.5.3. 从头开始实施
4.5.4. 简洁的实现
4.5.5。概括
4.5.6。练习

4.6. Dropout

4.6.1. 重新审视过拟合
4.6.2. 通过扰动实现鲁棒性
4.6.3. 实践中的辍学
4.6.4. 从头开始实施
4.6.5。简洁的实现
4.6.6。概括
4.6.7. 练习

4.7. 前向传播、后向传播和计算图

4.7.1. 前向传播
4.7.2. 前向传播的计算图
4.7.3. 反向传播
4.7.4. 训练神经网络
4.7.5。概括
4.7.6。练习

4.8. 数值稳定性和初始化

4.8.1. 梯度消失和爆炸
4.8.2. 参数初始化
4.8.3. 概括
4.8.4. 练习

4.9. 环境和分布转变

4.9.1。分布转移的类型
4.9.2. 分布转移的例子
4.9.3. 分配偏移的校正
4.9.4. 学习问题的分类
4.9.5。机器学习的公平性、问责性和透明度
4.9.6。概括
4.9.7。练习

4.10。在 Kaggle 上预测房价

4.10.1。下载和缓存数据集
4.10.2. 卡格尔
4.10.3. 访问和读取数据集
4.10.4。数据预处理
4.10.5。训练
4.10.6。(K)-折叠交叉验证
4.10.7。型号选择
4.10.8。提交关于 Kaggle 的预测
4.10.9。概括
4.10.10。练习

参考

https://d2l.ai/chapter_multilayer-perceptrons/index.html