神经网络的编程基础——NG

Posted 2023-03-14

参考技术A 本章内容主要针对神经网络训练数据的过程前向传播和后向传播的详细介绍。比如逻辑回归的前向传播：

用来预测y值和求代价函数的极小值。
同时后向传播该如何更新参数w，b。
损失函数：

其实都是一个概念，只不过损失函数针对一个样本提出来的定义，代价函数是针对多个样本提出来的概念，但说到底代价函数只不过是损失函数的累加的平均值而已。

后面也涉及到梯度下降法步骤，更新参数w，b的值。
以下内容从定义输入特征向量x，输出值y，y取0或1，以及定义一个独立样本(x,y)，以及m个样本组成的训练集。分别从一个样本开始，介绍了逻辑回归的损失函数和更新w，b参数，里面涉及求导，链式法则等知识，之后介绍了m个样本，逻辑回归的代价函数和如何整体更新参数w，b。因为for循环太慢，所以引入了向量化求解更新方式，也就是我们大学学习的矩阵。

这里存在一个讨论问题，为啥逻辑回归的损失函数是这样定的，大家可以思考下。

说明一下下面那张图，右边不是涂没了，而是dz的转置，即(dz1,dz2,...dzm)的转置。

其实看了for循环和向量化，发现，向量化真的快，以后要养成少些for循环的习惯，多用向量化求解，直观简明，符合矩阵的思想。