机器学习中的微分和矩阵
Posted jly1
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习中的微分和矩阵相关的知识,希望对你有一定的参考价值。
微积分选讲
- 极限
一个函数在 x 附近的数就是极限
无穷小
逼近的时候, 需要了解逼近的时候需要了解以什么样的速度来逼近无穷小.
- 微分和泰勒级数
微分学的核心思想就是逼近, 通常而言我们研究的函数都是比较复杂的,我们想用一个简单的函数进行逼近, 不准的话, 我们想知道这个逼近有多近, 用一个线性函数俩逼近
多变量就是用给一个平面去逼近一个曲面
单变量就是用一条直线去逼近一个曲线 - 高阶导数
不满足一条直线来逼近, 误差比较大, 我们可以进一步逼近, 将 o(x)进一步逼近, 随着求导的增加, 就会进一步的逼近, 当然也会得到更多的信息.
- 一元微分学的顶峰 泰勒级数
用多项式逼近的方式描述高阶导数, 求很多次导数就可以
连续不一定可导, 但可导一定连续 - 积分和微积分定理
积分, 用极限的思想来定义积分, 我们要注重背后的意义是什么?
求面积, 用已知的东西去逼近未知的东西, 微分和积分是逆运算
- 牛顿法
优化问题, 对于一个无穷可微条件, 寻找局部最小值
- 梯度下降法
- 牛顿法
同样一个函数, 一阶逼近只是知道方向, 用二阶逼近, 抛物线有极小值, 用到抛物线的最小值调节步长, 大概知道走多远.
- 机器学习在做什么?
通常数据离散的,
统计机器学习---从数据到模型
模型是连续的, 数据是零散的, 通过定义一个损失函数, 来找到连续函数的参数, 也就是找到相关的系数.
模型都是猜测, 然后再用数据来 fit 模型 - 参考资料
以上是关于机器学习中的微分和矩阵的主要内容,如果未能解决你的问题,请参考以下文章
机器学习|数学基础Mathematics for Machine Learning系列之矩阵理论(17):函数矩阵的微分和积分
机器学习|数学基础Mathematics for Machine Learning系列之矩阵理论(22):方阵函数在微分方程组中的应用
机器学习|数学基础Mathematics for Machine Learning系列之矩阵理论(22):方阵函数在微分方程组中的应用