什么是神经网络中的前向和后向传播？

Posted 2023-02-16

【中文标题】什么是神经网络中的前向和后向传播？

【英文标题】：What are forward and backward passes in neural networks?

【发布时间】：2016-08-12 22:32:06

【问题描述】：

forward pass和backward pass在神经网络中是什么意思？

在谈论反向传播和 epoch 时，每个人都会提到这些表达式。

我知道前传和后传一起形成一个纪元。

【问题讨论】：

我强烈建议您仔细阅读这篇文章：cs231n.github.io/optimization-2 它在那里以奇妙而简单的方式显示出来。

【参考方案1】：

“前向传递”是指计算过程，输出层的值来自输入数据。它从第一层到最后一层遍历所有神经元。

根据输出值计算损失函数。

然后“后向传递”指的是使用梯度下降算法（或类似算法）计算权重变化的过程（事实上的学习）。计算从最后一层开始，倒推到第一层。

向后和向前传递一起构成一个“迭代”。

---

在一次迭代中，您通常会传递数据集的一个子集，称为 “mini-batch” 或 “batch”（但是，“batch”可以也表示整个集合，因此前缀“mini”）

“Epoch” 表示分批传递整个数据集。 一个 epoch 包含 (number_of_items / batch_size) 次迭代