机器学习公式推导
Posted dabokele
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习公式推导相关的知识，希望对你有一定的参考价值。
本篇笔记主要记录及推导Andrew NG的Machine Learning课程中出现的公式。
我们假设对于任意的分类、聚类、回归等问题在自然界中总是存在一个精确的模型与之相对应，接下来我们要做的就是根据获取的样本来反推并确定这个模型。由于我们毕竟无法遍历这个问题所有的情况，所以我们只能根据获取的样本去尽可能接近的确定这个模型。
公式化上面这段描述，问题对应的模型就藏在假设空间(Hypothesis) hθ(x) h θ ( x ) 中，我们需要通过观测样本，确定其中的 θ θ 值。在确定 θ θ 值的过程中，定义一个损失函数(Cost Function) J(θ) J ( θ ) ，如果我们获取的样本在某一个参数 θ θ 时使损失值达到最小，即表示当前 θ θ 值确定的模型可以使预测值很接近观察值。那么这个模型就是我们需要寻找的。
对于监督学习，我们要做的就是确定目标函数，损失函数，然后通过样本训练，得到损失值最小的那一组参数值，用该参数值代入目标函数，即可得到对应问题的模型。
一、线性回归模型
1、单一变量的线性回归模型
目标函数：
hθ(x)=θ0+θ1x h θ ( x ) = θ 0 + θ 1 x损失函数： J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2 J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2
公式说明：
hθ(x(i)):第i个样本
h
θ
(
x
(
i
)
)
:
第
i
个
样
本
y(i):第i个样本对应的实际值
y
(
i
)
:
第
i
个
样
本
对
应
的
实
际
值
接下来的目标就是找到一组参数值，使得损失函数值最小，即
minimizeθ0,θ1J(θ0,θ1) m i n i m i z e θ 0 , θ 1 J ( θ 0 , θ 1 )求损失函数最小值时，使用梯度下降(Gradient descent)的方法。在微积分中我们学过梯度，梯度方向是函数值下降最快的方向，所以在梯度下降方法中，我们分别求 θ0和θ1 θ 0 和 θ 1 的偏导数，然后用该导数值更新参数值。
repeat until convergenceθj:=θj−α∂∂θjJ(θ0,θ1)(for j = 1 and j = 0)(7) (7) r e p e a t u n t i l c o n v e r g e n c e θ j := θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) ( f o r j = 1 a n d j = 0 )
说明，上面公式中的 机器学习集成学习（Boosting）——AdaBoost提升算法（理论+图解+公式推导）