神经网络的基本原理

Posted 2022-07-29 zhiyong_will

1. 神经元概述

神经网络是由一个个的被称为“神经元”的基本单元构成，单个神经元的结构如下图所示：

对于上述的神经元，其输入为$x_1$，$x_2$，$x_3$以及截距$+1$，其输出为：

$$h_{\mathbf{W},b}\left(\mathbf{x}\right)=f\left({\mathbf{W}}^T\mathbf{x}\right)=f\left(\sum _{i=1}^3{W}_i{x}_i+b\right)$$

其中，$\mathbf{W}$表示的是向量，代表的是权重，函数$f$称为激活函数，通常激活函数可以选择为Sigmoid函数，或者tanh双曲正切函数，其中，Sigmoid函数的形式为：

$$f\left(z\right)=\frac{1}{1+e^{-z}}$$

双曲正切函数的形式为：

$$f\left(z\right)=tanh\left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

以下分别是Sigmoid函数和tanh函数的图像，左边为Sigmoid函数的图像，右边为tanh函数的图像：

Sigmoid函数的区间为$\left[0,1\right]$，而tanh函数的区间为$\left[-1,1\right]$。

若是使用sigmoid作为神经元的激活函数，则当神经元的输出为$1$时表示该神经元被激活，否则称为未被激活。同样，对于激活函数是tanh时，神经元的输出为$1$时表示该神经元被激活，否则称为未被激活。

2. 神经网络

2.1. 神经网络的结构

神经网络是由很多的神经元联结而成的，一个简单的神经网络的结构如下图所示：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2kBGVAsn-1650777194062)(http://i.imgur.com/370RBZK.jpg)]

其中一个神经元的输出是另一个神经元的输入，$+1$项表示的是偏置项。上图是含有一个隐含层的神经网络模型，$L_1$层称为输入层，$L_2$层称为隐含层，$L_3$层称为输出层。

2.2. 神经网络中的参数说明

在神经网络中，主要有如下的一些参数标识：

• 网络的层数$n_1$。在上述的神经网络中$n_l=3$，将第$l$层记为$L_l$，则上述的神经网络，输入层为$L_1$，输出层为$L_3$。
• 网络权重和偏置$\left(\mathbf{W},\mathbf{b}\right)=\left({\mathbf{W}}^{(1)},{\mathbf{b}}^{(1)},{\mathbf{W}}^{(2)},{\mathbf{b}}^{(2)}\right)$，其中$W_{ij}^{(l)}$表示的是第$l$层的第$j$个神经元和第$l+1$层的第$i$个神经元之间的连接参数，$b_i^{(l)}$标识的是第$l+1$层的第$i$个神经元的偏置项。在上图中，${\mathbf{W}}^{(1)}\in {\Re }^{3\times 3}$，${\mathbf{W}}^{(2)}\in {\Re }^{1\times 3}$。

2.3. 神经网络的计算

在神经网络中，一个神经元的输出是另一个神经元的输入。假设$z_i^{(l)}$表示的是第$l$层的第$i$个神经元的输入，假设$a_i^{(l)}$表示的是第$l$层的第$i$个神经元的输出，其中，当$l=1$时，$a_i^{(1)}=x_i$。根据上述的神经网络中的权重和偏置，就可以计算神经网络中每一个神经元的输出，从而计算出神经网络的最终的输出$h_{\mathbf{W},\mathbf{b}}$。

对于上述的神经网络结构，有下述的计算：

$$z_1^{(2)}=W_{11}^{(1)}{x}_1+W_{12}^{(1)}{x}_2+W_{13}^{(深度神经网络识别图形图像的基本原理（转）}$$

神经网络：基本原理

BP算法基本原理推导----《机器学习》笔记

《深入浅出图神经网络》GNN原理解析☄学习笔记神经网络基础

深入浅出图神经网络|GNN原理解析☄学习笔记神经网络基础

备战数学建模20-BP神经网络算法