Pinsker 不等式的简单证明
Posted 陆嵩
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Pinsker 不等式的简单证明相关的知识，希望对你有一定的参考价值。
Pinsker 不等式的简单证明
网上有很多很多关于 Pinsker 不等式的证明方法，但是我没有看到一个用数学归纳法证明的，也没有看到一个不加先验定义的自包含的证明。下面我给出一个关于一个极简的证明。任何的引用请注明本出处。
Pinsker 不等式
请证明如下不等式：
∑
i
=
1
n
a
i
ln
a
i
b
i
≥
∑
i
=
1
n
(
a
i
−
b
i
)
2
\\sum_{i=1}^{n}a_i \\ln \\frac{a_i}{b_i}\\geq \\sum_{i=1}^{n}(a_i-b_i)^2
i=1∑nailnbiai≥i=1∑n(ai−bi)2
此处，
a
i
≥
0
,
b
i
≥
0
,
i
=
1
,
⋯
,
n
a_i\\geq 0,b_i\\ge 0, i=1,\\cdots,n
ai≥0,bi≥0,i=1,⋯,n，且
∑
i
=
1
n
a
i
=
1
,
∑
i
=
1
n
b
i
=
1
\\sum_{i=1}^{n}a_i =1,\\sum_{i=1}^{n}b_i =1
∑i=1nai=1,∑i=1nbi=1。
准备工作
引理 1： p 1 , p 2 , q 1 , q 2 p_1,p_2,q_1,q_2 p1,p2,q1,q2都是正实数，那么
p 1 ln p 1 q 1 + p 2 ln p 2 q 2 ≥ ( p 1 + p 2 ) ln p 1 + p 2 q 1 + q 2 p_1 \\ln \\frac{p_1}{q_1}+p_2 \\ln \\frac{p_2}{q_2}\\geq (p_1+p_2)\\ln \\frac{p_1+p_2}{q_1+q_2} p1lnq1p1+p2lnq2p2≥(p1+p2)lnq1+q2p1+p2
证明：
令
r
=
p
1
+
p
2
q
1
+
q
2
r=\\frac{p_1+p_2}{q_1+q_2}
r=q1+q2p1+p2.
只要证：
p
1
ln
p
1
r
q
1
+
p
2
ln
p
2
r
q
2
≥
0
p_1 \\ln \\frac{p_1}{rq_1}+p_2 \\ln \\frac{p2}{rq_2}\\geq 0
p1lnrq1p1+p2lnrq2p2≥0.
容易验证，
ln
x
≥
1
−
1
x
,
∀
x
≥
0
\\ln x \\geq 1-\\frac{1}{x}, \\forall x \\geq 0
lnx≥1−x1,∀x≥0。则有，
p
1
ln
p
1
r
q
1
+
p
2
ln
p
2
r
q
2
≥
p
1
(
1
−
r
q
1
p
1
)
+
p
2
(
1
−
r
q
2
p
2
)
=
p
1
−
r
q
1
+
p
2
−
r
q
2
≥
0
p_1 \\ln \\frac{p_1}{rq_1}+p_2 \\ln \\frac{p2}{rq_2}\\geq p_1(1-\\frac{rq_1}{p_1})+p_2(1-\\frac{rq_2}{p_2})=p_1-rq_1+p_2-rq_2\\geq 0
p1lnrq1p1+p2lnrq2p2≥p1(1−p1rq1)+p2(1−p2rq2)=p1−rq1+以上是关于Pinsker 不等式的简单证明的主要内容，如果未能解决你的问题，请参考以下文章