线性回归

Posted 2021-02-27 chenshaowei

基本形式

线性模型，具有更好的可解释性，每个参数有表示的意义。

f(x) = wx + b

线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。

要训练w使得代价函数最小，如何选一个w使得代价函数最小？

最小均方算法(LMS)。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”

w* = argmin (y-wx)T(y-wx)
//当XTX为满秩矩阵或正定矩阵时，可以得到下方等式。
w = (XT * X)-1 * XT * y

然而，显示生活中很多XTX不是满秩矩阵，需要引入正则化项。

广义线性模型

lny = wx + b

对数线性回归，形式上仍是线性回归，实质上已是在求取输入空间到输出空间的非线性函数映射。

对数几率回归

逻辑斯蒂回归，正例与反例的比值的对数。通过极大似然法估计w和b。

多分类学习

多分类学习的基本思路是将多分类拆为若干个二分类任务求解。为拆出的每个二分类任务训练一个分类器，最后对所有分类器的预测结果进行集成以获得最终的多分类结果。

关键是如何拆分？有三种策略：一对一，一对其余，多对多

一对一：将N个类别两两配对，产生N*(N-1)/2个二分类任务，最后结果通过投票得出。

一对其余：一个类的样例作为正例，其他类的样例作为反例，需要训练N个分类器

多对多：若干个作为正类，若干个作为反类。

类别不平衡

分类任务重不同类别的训练样例数目差别很大，正例少反例多，或正例多反例少。