常见不等式考察——Jensen不等式
Posted 墨客无言
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了常见不等式考察——Jensen不等式相关的知识，希望对你有一定的参考价值。
0. 引言
这两天在看文献的时候，突然注意到文献中使用了Jensen不等式，然后猛地发现似乎太久不看这些东西，都已经忘得差不多了，是时候得好好复习一下这些东西了……
1. Jensen不等式定义
Jensen不等式是针对凸函数的一个常用的不等式，其定义如下：
f ( λ ⋅ x 1 + ( 1 − λ ) ⋅ x 2 ) ≤ λ ⋅ f ( x 1 ) + ( 1 − λ ) ⋅ f ( x 2 ) f(\\lambda \\cdot x_1 + (1-\\lambda)\\cdot x_2) \\leq \\lambda \\cdot f(x_1) + (1-\\lambda)\\cdot f(x_2) f(λ⋅x1+(1−λ)⋅x2)≤λ⋅f(x1)+(1−λ)⋅f(x2)
上述不等式可以由凸函数的定义快速地得到，我们可以将其推广至一般的情况，即下述表达式：
f ( ∑ i = 1 n λ i x i ) ≤ ∑ i = 1 n λ i f ( x i ) f(\\sum_{i=1}^{n} \\lambda_i x_i) \\leq \\sum_{i=1}^{n} \\lambda_i f(x_i) f(i=1∑nλixi)≤i=1∑nλif(xi)
其中， ∑ i = 1 n λ i = 1 \\sum_{i=1}^{n} \\lambda_i = 1 ∑i=1nλi=1。
而如果函数为严格的凹函数，则上述Jensen不等式同样可以成立，但是符号需要反向，即修改为：
f ( ∑ i = 1 n λ i x i ) ≥ ∑ i = 1 n λ i f ( x i ) f(\\sum_{i=1}^{n} \\lambda_i x_i) \\geq \\sum_{i=1}^{n} \\lambda_i f(x_i) f(i=1∑nλixi)≥i=1∑nλif(xi)
2. Jensen不等式证明
关于Jensen不等式的证明方法，其实网上已经有了不少的解答，不过基本都是基于数学归纳法的解答。
这里，我们来仿照网上的一些解法来自行进行一下推导。
显然，对于 n ≤ 2 n \\leq 2 n≤2的情况，又凸函数的定义，上述不等式是易得的。
下面，我们假设在 n = k n=k n=k的情况下，不等式成立，则我们考虑 n = k + 1 n = k+1 n=k+1时的情况。
f
(
∑
i
=
1
k
+
1
λ
i
⋅
x
i
)
=
f
(
∑
i
=
1
k
λ
i
⋅
x
i
+
λ
k
+
1
⋅
x
k
+
1
)
=
f
(
(
1
−
λ
k
+
1
)
⋅
(
∑
i
=
1
k
λ
i
1
−
λ
k
+
1
⋅
x
i
)
+
λ
k
+
1
⋅
x
k
+
1
)
≤
(
1
−
λ
k
+
1
)
⋅
f
(
∑
i
=
1
k
λ
i
1
−
λ
k
+
1
⋅
x
i
)
+
λ
k
+
1
⋅
f
(
x
k
+
1
)
≤
(
1
−
λ
k
+
1
)
⋅
(
∑
i
=
1
k
λ
i
1
−
λ
k
+
1
⋅
f
(
x
i
)
)
+
λ
k
+
1
⋅
f
(
x
k
+
1
)
=
∑
i
=
1
k
λ
i
⋅
f
(
x
i
)
+
λ
k
+
1
⋅
f
(
x
k
+
1
)
=
∑
i
=
1
k
+
1
λ
i
⋅
f
(
x
i
)
\\begin{aligned} f(\\sum_{i=1}^{k+1} \\lambda_i \\cdot x_i) & = f(\\sum_{i=1}^{k} \\lambda_i \\cdot x_i + \\lambda_{k+1} \\cdot x_{k+1}) \\\\ & = f((1-\\lambda_{k+1})\\cdot (\\sum_{i=1}^{k} \\frac{\\lambda_i}{1-\\lambda_{k+1}} \\cdot x_i) + \\lambda_{k+1} \\cdot x_{k+1}) \\\\ & \\leq (1-\\lambda_{k+1})\\cdot f(\\sum_{i=1}^{k}\\frac{\\lambda_i}{1-\\lambda_{k+1}} \\cdot x_i) + \\lambda_{k+1} \\cdot f(x_{k+1}) \\\\ & \\leq (1-\\lambda_{k+1}) \\cdot (\\sum_{i=1}^{k}\\frac{\\lambda_i}{1-\\lambda_{k+1}} \\cdot f(x_i)) + \\lambda_{k+1} \\cdot f(x_{k+1}) \\\\ & = \\sum_{i=1}^{k} \\lambda_i \\cdot f(x_i) + \\lambda_{k+1} \\cdot f(x_{k+1}) \\\\ & = \\sum_{i=1}^{k+1} \\lambda_i \\cdot f(x_i) \\end{aligned}
f(i=1∑k+1λi⋅xi)=f(i=1∑kλi⋅xi+λk+1⋅xk+1)=f((1−λk+1)⋅(i=1∑k1−λk+1λi⋅xi)+λk+1⋅xk+1)≤(1−λk+1)⋅f(i=1∑k1−λk+1λi⋅xi)+λk+1⋅f(xk+1)≤(1−< 以上是关于常见不等式考察——Jensen不等式的主要内容，如果未能解决你的问题，请参考以下文章 深度学习/机器学习入门基础数学知识整理：Jensen不等式简单理解，共轭函数 最优化之凸集凸函数上确界Jensen不等式共轭函数Fenchel不等式拉格朗日乘子法KKT条件