机器学习中的微分和矩阵

Posted jly1

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习中的微分和矩阵相关的知识,希望对你有一定的参考价值。

微积分选讲

  • 极限
    一个函数在 x 附近的数就是极限
    技术图片
  • 无穷小
    逼近的时候, 需要了解逼近的时候需要了解以什么样的速度来逼近无穷小.
    技术图片

  • 微分和泰勒级数
    微分学的核心思想就是逼近, 通常而言我们研究的函数都是比较复杂的,我们想用一个简单的函数进行逼近, 不准的话, 我们想知道这个逼近有多近, 用一个线性函数俩逼近
    技术图片
    多变量就是用给一个平面去逼近一个曲面
    单变量就是用一条直线去逼近一个曲线
  • 高阶导数
    不满足一条直线来逼近, 误差比较大, 我们可以进一步逼近, 将 o(x)进一步逼近, 随着求导的增加, 就会进一步的逼近, 当然也会得到更多的信息.
    技术图片
  • 一元微分学的顶峰 泰勒级数
    用多项式逼近的方式描述高阶导数, 求很多次导数就可以
    技术图片
    连续不一定可导, 但可导一定连续
  • 积分和微积分定理
    积分, 用极限的思想来定义积分, 我们要注重背后的意义是什么?
    求面积, 用已知的东西去逼近未知的东西, 微分和积分是逆运算
    技术图片
    技术图片
  • 牛顿法
    优化问题, 对于一个无穷可微条件, 寻找局部最小值
    技术图片
  1. 梯度下降法
    技术图片
  2. 牛顿法
    同样一个函数, 一阶逼近只是知道方向, 用二阶逼近, 抛物线有极小值, 用到抛物线的最小值调节步长, 大概知道走多远.
    技术图片
  • 机器学习在做什么?
    通常数据离散的,
    统计机器学习---从数据到模型
    技术图片
    模型是连续的, 数据是零散的, 通过定义一个损失函数, 来找到连续函数的参数, 也就是找到相关的系数.
    模型都是猜测, 然后再用数据来 fit 模型
  • 参考资料
    技术图片

以上是关于机器学习中的微分和矩阵的主要内容,如果未能解决你的问题,请参考以下文章

机器学习|数学基础Mathematics for Machine Learning系列之矩阵理论(17):函数矩阵的微分和积分

机器学习|数学基础Mathematics for Machine Learning系列之矩阵理论(22):方阵函数在微分方程组中的应用

机器学习|数学基础Mathematics for Machine Learning系列之矩阵理论(22):方阵函数在微分方程组中的应用

机器学习中的矩阵求导Jacobian矩阵和Hessian矩阵

机器学习中的线性代数之矩阵求导

机器学习需要的数学总结