回归问题与应用

Posted qianyuesheng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了回归问题与应用相关的知识,希望对你有一定的参考价值。

 

有监督学习类似于学习数学,先做题 对答案,然后老师出卷子进行月考

无监督学习  挖掘数据 需要与环境交互

回归问题数学用语比较多,但是对大学高数部分熟悉的话,应该不是问题。

技术分享图片

 

 

 

线性回归

  损失函数(loss function,优化方向,评估方式)/代价函数/目标函数

     找到最好的权重/参数

    如何衡量最好?

技术分享图片

 

   最小化损失函数

      凸函数

      (基于已有的训练集找到最优)

      多元时

      技术分享图片

线性回归与GD

  梯度下降(逐步最小化损失函数)

  技术分享图片           

      学习率!  α决定的是步长,步长大或者小都会有问题

      更好的学习率但是会消耗更多的计算资源

 

 

    模型的状态

    技术分享图片

 

    技术分享图片

        判断边界

 

 

 

      技术分享图片

 

      最后的表达形式

      技术分享图片

 

 

       二分类与多分类

       one vs one

      one vs rest/all

 (此部分内容较多,需要反复学习)

 作业题:

美国旧金山犯罪问题

生物分子信息判定

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

    

 

以上是关于回归问题与应用的主要内容,如果未能解决你的问题,请参考以下文章

机器学习:算法与应用 by XDU 2022冬季课程笔记1:线性回归与逻辑回归

Python应用实战线性回归(附Python代码)

线性回归模型原理及其应用

分类算法-逻辑回归与二分类

Bagging策略和随机森林的应用以及线性回归与局部加权回归三种实例(线性回归AdaBoostGradientBoostingRegressor)机器学习

我的机器学习之旅:回归与工程应用