L1 和L2正则化，拉普拉斯分布和高斯分布
Posted xinyuephd
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了L1 和L2正则化，拉普拉斯分布和高斯分布相关的知识，希望对你有一定的参考价值。
正则化是为了防止过拟合。
1. 范数
范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。
范数的一般化定义：对实数p>=1， 范数定义如下：
L1范数：
当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。
L2范数：
当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， 也就是欧几里得距离公式。
2. 拉普拉斯分布
如果随机变量的概率密度函数分布为:
那么它就是拉普拉斯分布。其中，μ 是数学期望，b > 0 是振幅。如果 μ = 0，那么，正半部分恰好是尺度为 1/2 的指数分布。
3.高斯分布
又叫正态分布，若随机变量X服从一个数学期望为μ、标准方差为σ2的高斯分布，记为：
X∼N(μ,σ2),
则其概率密度函数为:
以上是关于L1 和L2正则化，拉普拉斯分布和高斯分布的主要内容，如果未能解决你的问题，请参考以下文章