常见的一些范数及其应用场景，如L0，L1，L2，L∞，Frobenius范数

Posted 2020-10-30

            范数(Norm)是具有度量性质的函数，它经常使用来衡量矢量函数的长度或大小，是泛函分析中的一个基本概念。在赋范线性空间中，p范数定义如下

其中 其中 p∈R, p≥1.
范数具有3个性质，即
①非负性；
②齐次性；
③三角不等式。
在机器学习中，我们会遇到一些范数。本文中，将对这些范数给出介绍。
L^0 范数 有时候我们会统计向量中非零元素的个数来衡量向量的大小。有些学者将之称为“L^0范数”，但是这个术语不符合严格的数学定义。因此，L^1范数经常用作表示非零元素数目的替代函数。
L^1 范数 ║x║_1=│x_1│+│x_2│+…+│x^n│。
L^2 范数 ║x║_2=（│x_1│^2+│x_2│^2+…+│xn│^2）^{1/2}。
L^∞-范数 ║x║∞=max（│x_1│，│x_2│，…，│x_n│）。
其中2-范数就是通常意义下的距离。
上述几种范数都是p范数的推导式，但是在机器学习中还有一类范数有些矩阵范数不可以由矢量范数来诱导，比如常用的Frobenius范数，其形式为
║A║F= （∑∑ a{ij}^2）^{1/2} (A全部元素平方和的平方根）。
容易验证F-范数是相容的，但当 min{m,n}>1 时 F-范数不能由向量范数诱导 （||E{11}+E{22}||_F=2>1）。
可以证明任一种矩阵范数总有与之相容的向量范数。