深度学习/机器学习入门基础数学知识整理:Jensen不等式简单理解,共轭函数
Posted 大饼博士X
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习/机器学习入门基础数学知识整理:Jensen不等式简单理解,共轭函数相关的知识,希望对你有一定的参考价值。
Jensen不等式及其延伸
凸函数最基本的不等式性质,又称Jensen不等式[1]

通俗一点讲就是,期望的函数值小于等于函数值的期望。
许多著名的不等式都是由Jensen不等式在取特定的凸函数下延伸出来的,如均值不等式、Holder不等式(摘自convex optimization书)

共轭函数
定义:假设
f:Rn→R
f
:
R
n
→
R
, 函数
f
f
的共轭函数 定义为
显然,定义式的右端是关于y的仿射函数,对它们逐点求上确界(sup),得到的函数 f∗(y) f ∗ ( y ) 一定是凸函数,因此共轭函数必为凸函数。注意: 这里其实并没有要求 f f 本身是凸函数。
共轭函数由来:凸函数的共轭函数的共轭函数是其本身。
对共轭函数的理解:如果函数可微,对于每一固定的 y y ,在满足 的点 x x 处差值最大,如图
举例一些典型共轭函数(参考[2],写的比较清楚了,就借用一下,推荐有兴趣的同学可以手推一下,基本思路就是先确定有效定义域,然后求导等于0求max的x取值,用y的函数表示,然后带回共轭函数的定义式子):
共轭函数有一些性质,这里只举例2个最简单的:
参考资料
[1] http://olivernote.space/2017/02/10/convex-optimization2/
[2] Convex Optimization,Book
以上是关于深度学习/机器学习入门基础数学知识整理:Jensen不等式简单理解,共轭函数的主要内容,如果未能解决你的问题,请参考以下文章
深度学习/机器学习入门基础数学知识整理:中心极限定理,一元和多元高斯分布