李宏毅 机器学习 2021 视频 -p2学习 笔记系列

Posted 2021-12-28 bohu83

1  机器学习的基本 概念

 2. 机器学习的分类

Regression (回归 )就是找到一个函数 function，通过输入特征 x ，输出一个数值 Scalar

classification(分类 )：给定 类别，选择正确 的 一种（围棋也 是一种 分类 ，知道下一步棋子位置）

 第三种：结构化学习

二 实现回归的步骤（机器学习的步骤）

老师举得例子是YouTube上传的视频，历史的互动数据 （点赞，观看等），

step1、model（确定一个模型）

从最简单的线性模型开始，

step2 使用训练数据确定评价函数（损失）

从数学的角度来讲，我们使用距离（预测值、真实值），MAE、MSE

 step3、optimization（最佳化）——梯度下降法

也就是使损失函数最小时候的参数 

这里有些背景知识：

梯度：

• 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
• 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

学习率 （步长）：图中的  这是超参数

老师举例是一个参数w的情况。

 

步骤1：随机选取一个 w0 。
步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向。
　　　　　大于0向右移动（增加w）
　　　　　小于0向左移动（减少w）
步骤3：根据学习率移动。

梯度下降法中：localmina 是个假问题。 原因这里没讲

再考虑两个参数（w、b）的情况 

 这里图中微分计算程序中有函数支持。下面水 真实计算的结果

 

这里说的 数据 都是 已知的，就是训练的过程，我们更关注的是未知的数据，就是 用训练好的模型在真实场景的效果。

怎么才能做得 更好呢 ？先分析下数据

数据呈现出 周期性规律，所以尝试模型不只是根据 前一天 的做 预测，而是7天的。这个源自你对问题的 理解也就是domain knownledge.

可见随着天数的递增，损失函数也没 更小，已经到了这个模型的极限。