CV面经-深度学习补缺补漏篇
Posted 机器学习算法与Python学习-公众号
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CV面经-深度学习补缺补漏篇相关的知识，希望对你有一定的参考价值。
点击 机器学习算法与Python学习 ，选择加星标
精彩内容不迷路
来源丨极市平台
一、深入理解Batch Normalization批标准化
机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。
BN的基本思想其实相当直观：因为深层神经网络在做非线性变换前的激活输入值（就是那个x=WU+B，U是输入）随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动，之所以训练收敛慢，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近（对于Sigmoid函数来说，意味着激活输入值WU+B是大的负值或正值），所以这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因，而BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，其实就是把越来越偏的分布强制拉回比较标准的分布，这样使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，意思是这样让梯度变大，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。
BN在训练的时候可以根据Mini-Batch里的若干训练实例进行激活数值调整，但是在推理（inference）的过程中，从所有训练实例中获得的统计量来代替Mini-Batch里面m个训练实例获得的均值和方差统计量。
BatchNorm为什么NB呢，关键还是效果好。①不仅仅极大提升了训练速度，收敛过程大大加快；②还能增加分类效果，一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式，所以不用Dropout也能达到相当的效果；③另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等。 总而言之，经过这么简单的变换，带来的好处多得很，这也是为何现在BN这么快流行起来的原因。
二、拉格朗日乘子法和 KKT 条件
为了方便和好记，就把原来的优化问题写成f(x,y)+λh(x,y)的形式，然后分别对λ,x,y求偏导，并且令偏导为0就行了，和之前得到的方程组是一样的。这种方法叫拉格朗日乘数法。
LCQ：如果 h(x)和g(x)都是形如Ax+b的仿射函数，那么极值一定满足 KKT 条件。
LICQ：起作用的g(x)函数（即g(x)相当于等式约束的情况）和h(x)函数在极值点处的梯度要线性无关，那么极值一定满足 KKT 条件。
Slater条件：如果优化问题是个凸优化问题，且至少存在一个点满足h(x)=0和g(x)=0，极值一定满足 KKT 条件。并且满足强对偶性质（下面会讲）。
三、L0、L1、L2范式
一般来说，监督学习可以看做最小化下面的目标函数：
其中，第一项L(yi,f(xi;w)) 衡量我们的模型（分类或者回归）对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差。因为我们的模型是要拟合我们的训练样本的嘛，所以我们要求这一项最小，也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言，我们不仅要保证训练误差最小，我们更希望我们的模型测试误差小，所以我们需要加上第二项，也就是对参数w的规则化函数Ω(w)去约束我们的模型尽量的简单。
正则函数部分：规则化函数Ω(w)也有很多种选择，一般是模型复杂度的单调递增函数，模型越复杂，规则化值就越大。比如，规则化项可以是模型参数向量的范数。然而，不同的选择对参数w的约束不同，取得的效果也不同，但我们在论文中常见的都聚集在：L0范数，L1范数，L2范数，迹范数，Frobenius范数，核范数等。
1、L0范数
L0范数是指向量中非0的元素的个数。如果用L0规则化一个参数矩阵W，就是希望W中大部分元素是零，实现稀疏。
L0范数的应用：
1）特征选择：实现特征的自动选择，去除无用特征。稀疏化可以去掉这些无用特征，将特征对应的权重置为零。
2）可解释性（interpretability）：例如判断某种病的患病率时，最初有1000个特征，建模后参数经过稀疏化，最终只有5个特征的参数是非零的，那么就可以说影响患病率的主要就是这5个特征。
2、L1范数
L1范数是指向量中各个元素绝对值之和。L1范数也可以实现稀疏，通过将无用特征对应的参数W置为零实现。
L1范数：
既然L0可以实现稀疏，为什么不用L0，而要用L1呢？个人理解一是因为L0范数很难优化求解（NP难问题），二是L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解。
3、L2范数
L2范数是指向量各元素的平方和然后求平方根。，用在回归模型中也称为岭回归（Ridge regression）。
L2范数：
L2避免过拟合的原理是：让L2范数的规则项
尽可能小，可以使得W每个元素都很小，接近于零，但是与L1不同的是，不会等于0；这样得到的模型抗干扰能力强，参数很小时，即使样本数据x发生很大的变化，模型预测值y的变化也会很有限。
L2范数的作用：1）学习理论的角度：从学习理论的角度来说，L2范数可以防止过拟合，提升模型的泛化能力。2）优化计算的角度：从优化或者数值计算的角度来说，L2范数有助于处理 condition number不好的情况下矩阵求逆很困难的问题。
四、L1 Loss& L2 Loss&smooth L1 Loss
1、L1 Loss
L1 我理解成 1 维向量的距离。
使用L1损失函数也被叫做最小化绝对误差(Least Abosulote Error)。这 个名称非常的形象。 就是最小化真实值yi和预测值 之间差值 的绝对值的和。
这里的 其实就是平均绝对误差(MAE),使用L1 损失函数也就是min
公式：
导数：
2、L2 Loss
L2 就是二维空间向量的距离。
公式：
导数：