神经网络算法推演-------前馈神经网络（feedforward neural network )

Posted 2022-12-10 岳飞传

前馈神经网络（feedforward neural network )

学习神经网络的公式推导时，看到一篇很好的文章，所以就搬到了自己的博客，重新编辑了下，也算是自我学习并分享给大家，查看原文请点击===>>>>>

1.1概述

以监督学习为例，假设我们有训练样本集 $\\textstyle (x(^ i),y(^ i))$，那么神经网络算法能够提供一种复杂且非线性的假设模型$\\textstyle h_W,b(x)$，它具有参数 $\\textstyle W$，可以以此参数来拟合我们的数据。

为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：

这个“神经元”是一个以$\\textstyle x_1, x_2, x_3$及截距$\\textstyle +1$ 为输入值的运算单元，其输出为

$$\\textstyle h_W,b(x) = f(W^Tx) = f(\\sum_i=1^3 W_ix_i +b)$$ ，其中函数 $\\textstyle f : \\Re \\mapsto \\Re$ 被称为“

激活函数

”。在本教程中，我们选用sigmoid函数作为”’激活函数”’ $\\textstyle f(\\cdot)$

$$f(z) = \\frac11+\\exp(-z).$$

可以看出，这个单一“神经元”的输入－输出映射关系其实就是一个逻辑回归（logistic regression）。

虽然本系列教程采用sigmoid函数，但你也可以选择双曲正切函数（tanh）：

$$f(z) = \\tanh(z) = \\frace^z - e^-ze^z + e^-z,$$

$\\textstyle \\tanh(z)$ 函数是sigmoid函数的一种变体，它的取值范围为 $\\textstyle [-1,1]$，而不是sigmoid函数的$\\textstyle [0,1]$。

最后要说明的是，有一个等式我们以后会经常用到：

• 如果选择$\\textstyle f(z) = 1/(1+\\exp(-z))$ ，也就是sigmoid函数，那么它的导数就是$\\textstyle f\'(z) = f(z) (1-f(z))$
• 如果选择tanh函数，那它的导数就是$\\textstyle f\'(z) = 1- (f(z))^2$ ，你可以根据sigmoid（或tanh）函数的定义自行推导这个等式。

1.2 神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：

我们使用圆圈来表示神经网络的输入，标上“$\\textstyle +1$”的圆圈被称为”’偏置节点”’，也就是截距项。神经网络最左边的一层叫做”‘输入层”’，最右的一层叫做”‘输出层’”（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做”’隐藏层”’，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个”’输入单元”’（偏置单元不计在内），3个”’隐藏单元”’及一个”’输出单元”’。

我们用$\\textstyle n_l$ 来表示网络的层数，本例中$\\textstyle n_l=3$ ，我们将第$\\textstyle l$ 层记为$\\textstyle L_l$ ，于是$\\textstyle L_1$ 是输入层，输出层是 L神经网络算法推演----------:反向传播算法Backpropagation Algorithm

FNN回归预测基于matlab蝙蝠算法优化前馈神经网络数据回归预测含Matlab源码 2070期

FNN回归预测基于matlab蝙蝠算法优化前馈神经网络数据回归预测含Matlab源码 2070期

Matlab基于多层前馈网络BP神经网络实现多分类预测（Excel可直接替换数据）

常见神经网络类型之前馈型神经网络

DL4NLP——神经网络前馈神经网络的BP反向传播算法步骤整理