深度学习/机器学习入门基础数学知识整理:数学上supinf含义,和maxmin的区别

Posted 大饼博士X

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习/机器学习入门基础数学知识整理:数学上supinf含义,和maxmin的区别相关的知识,希望对你有一定的参考价值。

文章目录

inf和sup的定义

经常在文献中看到inf和sup,很多人不知道是什么意思。其实这两个概念是来自于“数学分析”中的上确界和下确界:

  • inf: infimum 或 infima,中文叫下确界或最大下界。 inf(S), S表示一个集合, inf(S)是指集合S的下确界, 即小于或等于S中所有元素的最大值, 这个数不一定在集合S中。
  • sup:supremum,中文叫上确界。sup(S)是指集合S的上确界,即大于或等于S的所有元素的最小值, 这个数不一定在集合S中。

下面给出一些集合上的简单例子[1]:

inf例子:

  1. i n f 1 , 2 , 3 = 1 inf\\1,2,3\\ = 1 inf1,2,3=1;
  2. i n f x ∈ R , 0 < x < 1 = 0 inf\\x \\in \\mathbbR, 0<x<1 \\ = 0 infxR,0<x<1=0 ;
  3. i n f ( − 1 ) n + 1 / n : n = 1 , 2 , 3 , . . . = − 1 inf\\(-1)^n + 1/n : n = 1, 2, 3,...\\ = -1 inf(1)n+1/n:n=1,2,3,...=1;

如果一个集合有最小元素, 则下确界等于这个最小元素,下确界属于这个集合,如例子1;反之,则下确界不属于这个集合,这一点从例子2,3,中可以看出。

sup例子:

  1. s u p 1 , 2 , 3 = 3 sup\\1,2,3\\ = 3 sup1,2,3=3;
  2. s u p x ∈ R , 0 < x < 1 = s u p x ∈ R , 0 ≤ x ≤ 1 = 1 sup\\x \\in \\mathbbR, 0<x<1 \\ = sup\\x \\in \\mathbbR, 0\\leq x\\leq1 \\ = 1 supxR,0<x<1=supxR,0x1=1;
  3. s u p ( − 1 ) n − 1 / n : n = 1 , 2 , 3 , . . . = 1 sup\\(-1)^n - 1/n : n = 1, 2, 3,...\\ = 1 sup(1)n1/n:n=1,2,3,...=1;

如果一个集合有最大元素, 则上确界等于这个最大元素,上确界属于这个集合,如例子1;反之,则上确界不属于这个集合,这一点从例子2,3 中可以看出。

inf和sup的性质、证明

简单性质:

  • s u p a + b : a ∈ A   a n d   b ∈ B = s u p ( A ) + s u p ( B ) sup\\a+b:a\\in A\\ and\\ b \\in B\\ = sup(A)+sup(B) supa+b:aA and bB=sup(A)+sup(B);
  • i n f a + b : a ∈ A   a n d   b ∈ B = i n f ( A ) + i n f ( B ) inf\\a+b:a\\in A\\ and\\ b \\in B\\ = inf(A)+inf(B) infa+b:aA and bB=inf(A)+inf(B);

证明:令A+B=a+b|a∈A,b∈B,求证:sup(A+B)=supA + supB

首先证明supA+supB是集合A+B的一个上界,再证明其是一个最小的上界:
另外上述性质对减法、乘法、除法是不成立的。很容找到反例,例如A=-1,1,B=-5,1,那么sup(A*B)=5,而supA=1、supB=1,乘法是不成立的。减法和除法也类似,很容易找到反例。

sup, inf和max, min的区别

集合是比较简单容易理解的,但是实际中用的比较多是表示一个函数上下确界,写成 s u p f ( x ) sup f(x) supf(x) i n f f ( x ) inf f(x) inff(x)。使用 inf 或 sup 总能保证一个函数的 inf 或 sup 存在,而函数的 min 或 max 有时候不存在。例如
f ( x ) = s i n ( x ) / x f(x)=sin(x)/x f(x)=sin(x)/x该函数在 x=0 处没有值,因此其最大值即 max 不存在,但是我们可以看出 f(x) 最小的上界为 1,即 s u p f ( x ) = 1 sup f(x)=1 supf(x)=1

参考资料

[1] https://blog.csdn.net/D_turtle/article/details/81901853
[2] https://www.zybang.com/question/6adc7986ab84c9d94fdc00ccfdc1f7db.html
[3] https://blog.csdn.net/robert_chen1988/article/details/81233738

以上是关于深度学习/机器学习入门基础数学知识整理:数学上supinf含义,和maxmin的区别的主要内容,如果未能解决你的问题,请参考以下文章

深度学习/机器学习入门基础数学知识整理:中心极限定理,一元和多元高斯分布

深度学习/机器学习入门基础数学知识整理:Jensen不等式简单理解,共轭函数

入门深度学习的必备数学知识

怎么快速入门深度学习

深度学习都需要学习那些内容?

深度学习预备知识