01-线性回归算法
Posted daliny
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了01-线性回归算法相关的知识，希望对你有一定的参考价值。
机器学习分类：回归，分类
回归：最终得到的是在一个区间上真正(实际)的值
分类：最终得到的是个逻辑值0/1，是与不是，能与不能之类的答案
名词解释：
拟合：拟合就是把平面上一系列的点，用一条光滑的曲线连接起来。因为这条曲线有无数种可能，从而有各种拟合方法。拟合的曲线一般可以用函数表示，根据这个函数的不同有不同的拟合名字。
最小二乘法：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达
回归问题举例：
对问题进行数学化：
X1，X2就是我们的两个特征值（年龄，工资），而Y是最终银行会借给我们多少钱。
需要解决的问题就是：找到一条来最好拟合我们数据的点。
最终得到的整合的h(x）主要是为了使数据看起来更加的整齐，也方便以后的矩阵运算。
误差分析：
误差三个特性：独立，同分布，高斯分布
似然函数求解：
eg: 简化运算：log(AB) = logA + logB
目标函数求解：求J(0)的最小值
X,Y为已知的数据，即可求得佘塔
评估方法：
以上是关于01-线性回归算法的主要内容，如果未能解决你的问题，请参考以下文章
线性回归 - 使用啥算法来解决最小二乘法 - 逆或 LU 或......？
R语言回归分析（regression）常见算法：简单线性回归多项式回归多元线性回归多水平回归多输出回归逻辑回归泊松回归cox比例风险回归时间序列分析非线性回归非参数回归稳健回归等