Calculus of Variations：变分计算
Posted H-w-H
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Calculus of Variations：变分计算相关的知识，希望对你有一定的参考价值。
泛函
泛函（functional）指以函数构成的向量空间为定义域，实数为值域为的“函数”，即某一个依赖于其它一个或者几个函数确定其值的量，往往被称为“函数的函数”。
函数代表了数到数的映射，而泛函代表了函数到数的映射，即给定一个函数，泛函能够得到一个数
欧拉-拉格朗日方程
求解以积分形式表示的量的最小化或者最大化
当泛函 取极值时，函数
y
(
x
)
y(x)
y(x)应当满足欧拉-拉格朗日方程：
∂
∂
y
F
(
x
,
y
,
y
x
)
−
d
d
x
(
∂
∂
y
x
F
(
x
,
y
,
y
x
)
)
=
0
\\frac \\partial \\partial yF(x,y,y_x)-\\frac ddx(\\frac \\partial \\partial y_xF(x,y,y_x))=0\\\\
∂y∂F(x,y,yx)−dxd(∂yx∂F(x,y,yx))=0
简单证明:
设存在泛函:
J
(
y
)
=
∫
a
b
F
(
x
,
y
,
y
x
)
J(y) = \\int_a^bF(x,y,y_x)
J(y)=∫abF(x,y,yx)
我们假设能够使
J
(
y
)
J(y)
J(y) 取得极值的函数
y
y
y 为
u
(
x
)
u(x)
u(x) 。那么在区间
[
a
,
b
]
[a,b]
[a,b] 上，定义函数族
y
(
x
)
=
u
(
x
)
+
ϵ
η
(
x
)
y(x)=u(x)+\\epsilon\\eta(x)
y(x)=u(x)+ϵη(x)
其中
ϵ
\\epsilon
ϵ 是一个实参数，
η
(
x
)
\\eta(x)
η(x) 定义为函数
y
(
x
)
y(x)
y(x) 与
u
(
x
)
u(x)
u(x) 的差值。由此可以看出
η
(
x
)
\\eta(x)
η(x) 应当满足
η
(
a
)
=
η
(
b
)
=
0
\\eta(a)=\\eta(b)=0
η(a)=η(b)=0 ，那么
y
(
x
)
y(x)
y(x) 当然也满足边界条件，也代表两点之间的一条路径，并且在确定的
η
(
x
)
\\eta(x)
η(x) 下，其函数表达式只与 ϵ 有关。
那么对于任意确定的函数 η ( x ) \\eta(x) η(x)， 泛函 J ( y ) = J ( u + ϵ η ) = J ( ϵ ) J(y)=J(u+\\epsilon\\eta)=J(\\epsilon) J(y)=J(u+ϵη)=J(ϵ) ，应当只是参数 ϵ \\epsilon ϵ 的函数，且 d J ( ϵ ) d ϵ ∣ ϵ = 0 \\frac dJ(\\epsilon)d\\epsilon|_\\epsilon=0 dϵdJ(ϵ)∣ϵ=0（ ϵ = 0 \\epsilon=0 ϵ=0 时， y ( x ) = u ( x ) y(x)=u(x) y(x)=u(x) ,泛函 J ( y ) J(y) J(y) 取极值）。
为了要满足上面的条件
d
J
(
ϵ
)
d
ϵ
∣
ϵ
=
0
\\frac dJ(\\epsilon)d\\epsilon|_\\epsilon=0
dϵdJ(ϵ)∣ϵ=0,我们首先来计算在任意确定的
η
(
x
)
\\eta(x)
η(x)的情况下计算
d
J
(
ϵ
)
d
ϵ
\\frac dJ(\\epsilon)d\\epsilon
dϵdJ(ϵ)
d
J
(
ϵ
)
d
ϵ
=
d
d
ϵ
∫
a
b
F
(
x
,
y
,
y
x
)
d
(
x
)
=
∫
a
b
∂
F
(
x
,
y
,
y
x
)
∂
ϵ
d
(
x
)
=
∫
a
b
∂
F
∂
y
∂
y
∂
ϵ
+
∂
F
∂
y
x
∂
y
x
∂
ϵ
d
(
x
)
(
链式求导
)
=
∫
a
b
∂
F
∂
y
η
(
x
)
+
∂
F
∂
y
x
η
′
(
x
)
d
(
x
)
(
η
′
(
x
)
=
d
η
(
x
)
/
d
x
)
=
∫
a
b
∂
F
∂
y
η
(
x
)
+
∂
F
∂
y
x
d
η
(
x
)
=
∫
a
b
∂
F
∂
y
η
(
x
)
+
η
(
x
)
∂
F
∂
y
x
∣
a
b
−
∫
a
b
d
d
x
(
∂
F
∂
y
x
)
η
(
x
)
d
x
(
分部积分
)
=
∫
a
b
[
∂
F
∂
y
−
d
d
x
(
∂
F
∂
y
x
)
]
η
(
x
)
d
x
(
η
(
a
)
=
η
(
b
)
=
0
)
\\beginalign \\frac dJ(\\epsilon)d\\epsilon & =\\frac dd\\epsilon\\int_a^bF(x,y,y_x)d(x)\\\\ &=\\int_a^b\\frac \\partial F(x,y,y_x)\\partial\\epsilond(x)\\\\ &=\\int_a^b\\frac \\partial F\\partial y\\frac \\partial y\\partial\\epsilon + \\frac \\partial F\\partial y_x\\frac \\partial y_x\\partial\\epsilon d(x)\\qquad(链式求导)\\\\ &=\\int_a^b\\frac \\partial F\\partial y\\eta(x) + \\frac \\partial F\\partial y_x\\eta'(x) d(x)\\qquad(\\eta'(x)=d\\eta(x)/dx)\\\\ &=\\int_a^b\\frac \\partial F\\partial y\\eta(x) + \\frac \\partial F\\partial y_x d\\eta(x)\\\\ &=\\int_a^b\\frac \\partial F\\partial y\\eta(x) + \\eta(x)\\frac \\partial F\\partial y_x\\big|_a^b-\\int_a^b\\frac ddx(\\frac \\partial F\\partial y_x)\\eta(x)dx\\qquad (分部积分)\\\\ &=\\int_a^b[\\frac \\partial F\\partial y -\\frac ddx(\\frac \\partial F\\partial y_x)]\\eta(x)dx\\qquad(\\eta(a)=\\eta(b)=0)\\\\ \\endalign
dϵdJ(ϵ)=dϵd∫abF(x,y,yx)d(x)=∫ab∂ϵ∂F(x,y,yx)d(x)=∫ab∂y∂F∂ϵ∂y+∂yx∂F∂ϵ∂yCalculus of Variations：变分计算
face recognition[variations of softmax][L-Softmax]