吃瓜教程——datawhale10月组队学习

Posted 2022-01-28 scdctlt

task04:概览西瓜书+南瓜书第5章

5.1 神经元模型

m-p神经元模型如下：

使用可微可导连续的sigmoid函数作为阶跃函数，

5.2 感知机和多层网络
感知机(Perceptron) 由两层神经元组成， 输入层接收外界输入信号后传递给输出层， 输出层是M-P 神经元，亦称"阔值逻辑单元"

感知机的学习目标是求得能对数据集T中的正负样本完全正确划分的超平面，


定义损失函数

5.3 反向传播算法-BP
当网络层级较多时，产生的权值和阈值就会有许多，而调整阈值和权值的方法，就称作反向传播算法。如果说前馈神经网络的目的是为了得到最合适的预测模型，那么反向传播算法的作用就是反向求解，为了得到最合适的权值和阈值。BP算法基于梯度下降策略，以目标的负梯度方向对参数进行调整。即对均方误差求解函数，分别对θ、w、λ等进行求导。在给定学习率η的情况下，第k个样例的均方误差函数E有：

——————————未完待续——————————

---