Matlab训练多层神经网络

Posted 2021-04-26 深度学习科研平台

• 后向传播

• 前向计算过程

• 前向计算过程

• 前向计算过程

• 后向传播算法

• 后向传播算法

• 后向传播算法

• 后向传播算法

• 后向传播算法

• 后向传播算法

• 后向传播算法步骤

1. 初始化权重

2. 将输入值送入神经网络，计算输出值，和正确输出值的误差，以及输出节点的Delta

3. 将输出节点的Delta后向传播，用于计算相邻节点的Delta

4. 重复步骤3直至到达输入节点之后的第一个隐含层5. 根据以下规则更新权重

6. 对所有训练数据执行步骤2-5

7. 重复步骤2-6直到误差小于给定阈值

• 后向传播举例

用Sigmoid激活和交叉熵代价的后向传播算法

1. 初始化权重

2. 将输入值送入神经网络，计算输出值，和正确输出值的误差，以及输出节点的Delta

3. 将输出节点的Delta后向传播，用于计算相邻节点的Delta

4. 重复步骤3直至到达输入节点之后的第一个隐含层5. 根据以下规则更新权重

6. 对所有训练数据执行步骤2-5

7. 重复步骤2-6直到误差小于给定阈值

• 用Sigmoid激活和交叉熵代价的后向传播算法

• 过拟合和正则化

• 基于交叉熵的后向传播举例