神经网络

Posted 2021-03-12 luyunan

模型架构

神经网络背后的逻辑斯蒂回归模型

公式推导

Forward

(a = egin{bmatrix} a_1 a_2 a_3 end{bmatrix} = egin{bmatrix} g(V_1 ^T x + b_{11}) g(V_2 ^T x + b_{12}) g(V_3^T x + b_{13}) end{bmatrix})，(y = egin{bmatrix}y_1 y_2 end{bmatrix} =egin{bmatrix}g(W_1^Ta + b_{21} ) g(W_2^T a + b_{22}) end{bmatrix})

Backward

输出层对隐含层：
(frac{partial y_j}{partial W_j} = g cdot (1-g) cdot a)，(frac{partial y_j}{partial a}= g cdot (1-g) cdot W_j)， (frac{partial y_j}{partial b_{2j}} = g cdot (1-g))
隐含层对输入层：
$frac{partial a_j}{partial V_j} = g cdot (1 - g) cdot x $， (frac{partial a_j}{partial b_{1j}} = g cdot (1 - g))

理解

1. 是否设置 bias 要更具实际问题来决定。
2. 一个神经网络可以看做是若干个逻辑斯蒂回归模型的嵌套组合。
3. 神经网络可以看做，不用输入特征来训练，而是用输入特征的映射来训练逻辑回归，这个映射可以是很复杂的映射。