线性回归原理
Posted keye
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了线性回归原理相关的知识，希望对你有一定的参考价值。
1. 线性回归的模型函数和损失函数
对于m个样本，n维特征，
如果y是连续的，则是回归问题，否则是分类问题。
它的线性回归模型是：
θi (i = 1,2...n)是参数，xi (i = 1,2...n)是每个样本的n个特征。
这里增加一个特征 x0 = 1，得到 
矩阵形式的线性回归模型：hθ(x) = xΘ，其中hθ(x)为mx1的向量，θ为nx1的向量，x为mxn维的矩阵。
一般线性回归用均方误差作为损失函数。线性回归损失函数表达式：
矩阵形式的线性回归损失函数：
2. 线性回归算法
常用两种方法求线性回归损失函数的最小值：梯度下降法，最小二乘法。
梯度下降法，θ的跌代公式：
最小二乘法，θ的迭代公式：
以上是关于线性回归原理的主要内容，如果未能解决你的问题，请参考以下文章