向量化logistics回归

Posted 2021-01-01 nhdmmdxq

Z = w^Tx + b

a = σ (z) = 1 / ( 1 + e^-z )

L ( a , y ) = —（ y log(a) + ( 1 - y ) log(1-a) )

dz⁽ⁱ⁾ = a⁽ⁱ⁾ - y⁽ⁱ⁾

dw = xdz

db = dz

 

 如何向量化计算m个训练数据的梯度：

梯度计算时dz⁽ⁱ⁾ = a⁽ⁱ⁾ - y⁽ⁱ⁾

定义 Z = { z¹ , z² , z³ ................z^m }

        A = { a¹ , a² ,a³ ................ a^m }

        Y = { y¹ , y² , y³ ................y^m }

则：

        dz = A - Y = { a¹ - y¹ , a² - y² , a³ - y³ ....................a^m - y^m  }

对于传统方法需要用for循环来重复更新dw和db的值

如： dw = 0                                                             db = 0

        dw  += x¹dz¹                                                                           db += dz¹

        dw  += x²dz²                                                                           db += dz²

               :                                                                      :

               :                                                                      :

               :                                                                      :

       dw  += x^mdz^m                                                                             db += dz^m

       dw /= m                                                              db / = m

 

深度学习中使用方法为：

Z = np.dot(w.T，X)+b

A = sigmoid(Z)

dz = A - Y 

dw = 1/m X dz^T       (其中X为x¹ , x² ......... x^m组成的n*m阶矩阵 ，dz为z¹ ,z² .......... z^m组成的1*m阶矩阵，则dz^T为m*1阶矩阵 )

db = 1 / m * np.sum ( dz )

 

到这里就完成了正向和反向传播，确实实现了对所有训练样本进行预测和求导，而且没有用一个for循环，然后梯度下降更新参数

w = w - α * dw

b = b - α * db

其中α是学习率 

 

上述所有标黄的部分就实现了logistic回归的梯度下降一次迭代

如果需要多洗进行迭代梯度下降，如：要求1000次导数进行梯度下降，在最外层需要一次for循环

for  i   in   range (1000) : 

　　Z = np.dot(w.T，X)+b

　　A = sigmoid(Z)

　　dz = A - Y 

　　dw = 1/m X dz^T  

　　db = 1 / m * np.sum ( dz )

　　w = w - α * dw

　　b = b - α * db