机器学习数学基础之矩阵理论

Posted 2020-10-09 tanv

机器学习数学基础之矩阵理论（三）

矩阵求导

目录

一、  矩阵求导的基本概念

1.    一阶导定义

2.    二阶导数

二、  梯度下降

1.   方向导数.

1.1 定义

1.2 方向导数的计算公式.

1.3 梯度下降最快的方向

1.4 最速下降方向的判断.

1.5 最速梯度下降的迭代式

2.   牛顿法

2.1 引入一元函数极值判别法

（1）导数分析法

（2）泰勒公式法

2.2 多元函数的泰勒展开

2.3  正定(半正定)矩阵

（1）二次型

（2）正定(半正定)的定义

（3）负定(半负定)的定义

（4）正定判别极值

2.4 正定矩阵的判别法

（1）根据特征值判断

（2）根据各阶顺序主子式判断

（3）判别正定的作用

三、矩阵求导的应用

1.  最小二乘法（线性回归）

1.1 一维模型

1.2 高维模型.

1.3 用SVD处理岭回归

2. Logistic回归

2.1 模型

2.2  最小化目标函数

 

一、矩阵求导的基本概念

多元函数极值问题，需要用到多元函数的导数，在矩阵理论里，又称为矩阵求导。

1.  一阶导定义

　　设：

　　　　

以上是关于机器学习数学基础之矩阵理论的主要内容，如果未能解决你的问题，请参考以下文章

机器学习数学基础之矩阵理论

机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论（12）：相似形理论

机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论（16）：向量和矩阵的极限

机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论（20）：方阵函数

机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论（20）：方阵函数

机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论（11）：线性变换的矩阵表示