线性回归
Posted jly1
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了线性回归相关的知识，希望对你有一定的参考价值。
机器学习初步
- 有监督和无监督区别, 一个有标签一个无标签
- 机器学习的目的, 寻找一个模式
- 与环境进行交互, 有一个反馈
有监督分为两类问题 - 主要任务是分类和回归
降维也是无监督的学习
每一行是一个样本, 每一列是一个特征(属性维度)
- 线性回归
多变量情形
损失函数
平方损失函数
指数损失函数
交叉熵损失
给定一个损失函数, 就是与给定标准答案的差异度有多大, 我才能去优化这个差距
损失函数会贯穿 Machine Learning 的全程
优化目标: 最小化损失函数
在给定的损失函数下, 如何找到最低点?此时对应着拟合函数是最优的.
学习率: 迭代的步长
超参数
就是最初的 theta,
如果是多元--就是沿着等高线的垂直方向是最快的
模型一般两个状态, 一个是过拟合, 一个是欠拟合
- 正则化
正则化: 控制参数幅度, 不让模型无法无天
限制参数搜索空间
以上是关于线性回归的主要内容，如果未能解决你的问题，请参考以下文章
R语言回归分析（regression）常见算法：简单线性回归多项式回归多元线性回归多水平回归多输出回归逻辑回归泊松回归cox比例风险回归时间序列分析非线性回归非参数回归稳健回归等