散度和KL散度的介绍
Posted Paul-Huang
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了散度和KL散度的介绍相关的知识，希望对你有一定的参考价值。
散度和KL散度的介绍
1. 梯度、散度与旋度
1.1 算子
定义一个向量算子
∇
\\nabla
∇(读作nabla或者del)：
∇
=
∂
∂
x
e
x
⃗
+
∂
∂
y
e
y
⃗
+
∂
∂
z
e
z
⃗
(1.1)
\\nabla= \\frac{\\partial}{\\partial x} \\vec{e_x} + \\frac{\\partial}{\\partial y} \\vec{e_y} + \\frac{\\partial}{\\partial z} \\vec{e_z} \\tag{1.1}
∇=∂x∂ex+∂y∂ey+∂z∂ez(1.1)
该算子也叫哈密顿算子，其中
e
x
⃗
,
e
y
⃗
和
e
z
⃗
\\vec{e_x}, \\vec{e_y}和\\vec{e_z}
ex,ey和ez分别是
X
,
Y
,
Z
X, Y, Z
X,Y,Z方向的单位向量用线性代数的风格表示为(
T
T
T为转置)：
∇
=
[
∂
∂
x
,
∂
∂
y
,
∂
∂
z
]
T
(1.2)
\\nabla= [\\frac{\\partial}{\\partial x}, \\frac{\\partial}{\\partial y}, \\frac{\\partial}{\\partial z}]^T \\tag{1.2}
∇=[∂x∂,∂y∂,∂z∂]T(1.2)
1.2 梯度
- 梯 度 是 一 个 向 量 \\color{red}梯度是一个向量 梯度是一个向量，它表示函数在某个点处往哪个方向走，变化最快，即梯度等于方向导数的最大值。
- 对于一个
标
量
函
数
ψ
\\color{red}标量函数\\psi
标量函数ψ，定义它的梯度为：
g r a d ( ψ ) = ∇ . ψ = [ ∂ ∂ x , ∂ ∂ y , ∂ ∂ z ] T . ψ = [ ∂ ψ ∂ x , ∂ ψ ∂ y , ∂ ψ ∂ z ] T (1.3) \\begin{aligned} grad(\\psi) = \\nabla . \\psi &= [\\frac{\\partial}{\\partial x}, \\frac{\\partial}{\\partial y}, \\frac{\\partial}{\\partial z}]^T . \\psi\\\\ &= [\\frac{\\partial \\psi}{\\partial x}, \\frac{\\partial \\psi}{\\partial y}, \\frac{\\partial \\psi}{\\partial z}]^T \\end{aligned} \\tag{1.3} grad(ψ)=∇.ψ=[∂x∂,∂y∂,∂z∂]T.ψ=[∂x∂ψ,∂y∂ψ,∂z∂ψ]T(1.3)
梯度是 算 子 点 乘 标 量 函 数 \\color{red}算子点乘标量函数 算子点乘标量函数的过程。 - 只有 标 量 函 数 才 有 梯 度 \\color{red}标量函数才有梯度 标量函数才有梯度，梯度是 纯 量 函 数 ⇒ 向 量 场 \\color{red}纯量函数\\Rightarrow 向量场 纯量函数⇒向量场的过程。
1.3 散度
- 散 度 是 一 个 标 量 \\color{red}散度是一个标量 散度是一个标量，它表示一个闭合曲面内单位体积的通量。
-
散
度
的
作
用
对
象
是
一
个
矢
量
函
数
\\color{red}散度的作用对象是一个矢量函数
散度的作用对象是一个矢量函数，对于一个
矢
量
函
数
f
⃗
=
[
f
x
,
f
y
,
f
z
]
T
\\color{red}矢量函数\\vec{f} = [f_x, f_y, f_z]^T
矢量函数f=[fx,fy,fz]T，散度的定义为：
d i v ( f ) = ∇ ⋅ f ⃗ = ∇ T f ⃗ = [ ∂ ∂ x , ∂ ∂ y , ∂ ∂ z ] [ f x f y f z ] = ∂ f x ∂ x + ∂ f y ∂ y + ∂ f z ∂ z (1.4) \\begin{aligned} div(f) = \\nabla\\cdot \\vec{f} = \\nabla^T \\vec{f} &= [\\frac{\\partial}{\\partial x}, \\frac{\\partial}{\\partial y}, \\frac{\\partial}{\\partial z}] \\left[ \\begin{matrix} f_x \\\\ f_y \\\\ f_z \\end{matrix} \\right] \\\\ &= \\frac{\\partial f_x}{\\partial x} + \\frac{\\partial f_y}{\\partial y} + \\frac{\\partial f_z}{\\partial z} \\end{aligned} \\tag{1.4} div(f)=∇⋅f=∇Tf<以上是关于散度和KL散度的介绍的主要内容，如果未能解决你的问题，请参考以下文章