l2-loss,l2范数,l2正则化,欧式距离

Posted ymjyqsx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了l2-loss,l2范数,l2正则化,欧式距离相关的知识,希望对你有一定的参考价值。

欧式距离:

技术分享图片

l2范数:

技术分享图片

l2正则化:

技术分享图片

l2-loss(也叫平方损失函数):

技术分享图片

http://openaccess.thecvf.com/content_cvpr_2017/papers/Li_Mimicking_Very_Efficient_CVPR_2017_paper.pdf

技术分享图片

 

总结:l2范数和欧式距离很像,都是开根号。l2正则化和l2-loss都是直接开平方。上面这篇mimic的paper,就是用的l2-loss,可以看到他写的公式就是在l2范数上开平方。也可以这么理解,对于loss,需要求梯度,如果有根号后,梯度的计算就变得复杂了。

以上是关于l2-loss,l2范数,l2正则化,欧式距离的主要内容,如果未能解决你的问题,请参考以下文章

正则化L1和L2

L1 和L2正则化,拉普拉斯分布和高斯分布

L1范数与L2范数正则化

机器学习正则化(L1正则化L2正则化)

正则化项L1和L2的直观理解及L1不可导处理

L1、L2正则化