机器学习——局部加权回归，逻辑回归

Posted 2020-11-25 daizigege

局部加权回归（ locally weighted regression ）

特征选择问题：underfitting,overfitting

parametric learing algorithm:有固定数目的参数以用来数据拟合的算法；

Non-parametric learing algorithm:参数随着训练集大小线性增长；

LWR:fit ( heta) to minimize (sum_iw^{(i)}(y^{(i)}- heta^Tx^{(i)})^2) where (w^{(i)}=exp(-frac{{(x^{(i)}-x)^2}}{2 au^2 }))

解得( heta=(X^TWX)^{-1}X^TWy)

备注：每次预测一个，都需要重新建立模型；

为什么选择最小二乘：

assume (y^{(i)}= heta^Tx^{(i)}+varepsilon ^{(i)})

(P(varepsilon ^{(i)})=frac{1}{sqrt{2pi}sigma}exp{(-frac{(varepsilon ^{(i)})^2}{2sigma})}) 假设为高斯分布的原因：一个合理准确的假设（中心极限定理）；数学计算的便利；

so $y^{(i)}|x^{(i)}; heta $ ~ (N ( heta^Tx^{(i)},sigma^2)) 其中( heta)不是随机变量，所以用的是分号；

$varepsilon ^{(i)}s $ are IID independently identically distributed

(L( heta)=P(vec y|X; heta))=Pi_{i=1}^mP(y^{(i)}|x^{(i)}; heta))

极大似然估计：choose ( heta) to maximize (L( heta))

(LL( heta)=log L( heta)=sum_{(i=1)}^mlog[frac{1}{sqrt{2pi}sigma}exp{(-frac{(varepsilon ^{(i)})^2}{2sigma})}]=mlogfrac{1}{sqrt{2pi}sigma}+sum_{i=1}^m-frac{(y^{(i)}- heta^Tx^{(i)})^2}{2sigma})

to minimizie (J( heta)=sum_{i=1}^{m}frac{(y^{(i)}- heta^Tx^{(i)})^2}{2})

logistic回归:（离散）分类算法，解决二分类问题

逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从 高斯分布。

(yepsilon {0,1}h_ heta(x)epsilon[0,1])

choose假设函数: (h_ heta(x)=g( heta^Tx)=frac{1}{1+e^{- heta^Tx}}) g(z)为logistic或者sigmoid函数

(P(y=1|x; heta)=h_ heta(x)) (P(y=0|x; heta)=1-h_ heta(x)) ->(P(y|x; heta)=(1-h_ heta(x))^{1-y}h_ heta(x)^y)

决策边界：一个方程，分开两个部分

在逻辑回归中，假设函数（h=g(z)）用于计算样本属于某类别的可能性；决策函数（h=1(g(z)>0.5)）用于计算（给出）样本的类别；决策边界（θ^Tx=0）是一个方程，用于标识出分类函数（模型）的分类边界。

代价函数：

(L( heta)=P(vec y|X; heta))=Pi_{i=1}^m(1-h_ heta(x^{(i)}))^{1-y^{(i)}}h_ heta(x^{(i)})^{y^{(i)}})

(LL( heta)=logL( heta)) 可以用梯度上升法做,其中(frac{partial }{partial heta_j}LL( heta)=sum_{i=1}^m(y^{(i)}-h_ heta(x^{(i)}))x_j^{(i)})

矩阵法更新公式： W=W+（Y-W(X^{(i)^T}) ）(X^{(i)})