深度学习 || 05 机器学习示例 线性回归

Posted 2021-04-19 搬运代码吧

机器学习简单示例——线性回归

线性回归（Linear Regression）是机器学习和统计学中最基础和广泛应用的模型，是一种对自变量和因变量之间关系进行建模的回归分析。自变量数量为1时称为简单回归，自变量数量大于1时称为多元回归。

在机器学习领域，自变量就是样本的特征向量 （每一个维度对应一个自变量），因变量是标签 ，这里的 是连续值。假设空间是一组参数化的线性函数

其中权重w和偏置b都是可以学习的参数，函数 也称为线性模型。

出于书写方便，经常把上述函数写作

其中 和 分别为增广权重向量和增广特征向量。这里注意区分增广矩阵和增广向量

为叙述简单，后文直接把线性回归模型写作** **。

给定一组包含N个训练样本的训练集 ,我 们希望能够学习一个最优的线性回归的模型参数w。下面介绍四种不同的参数估计方法：经验风险最小化、结构风险最小化、 最大似然估计、最大后验估计。