Essentially No Barriers in Neural Network Energy Landscape

Posted 2022-10-31 mtandhj

目录

• 梗概
• 主要内容
  • path的定义
  • path的逼近
  • 局部最优

Draxler F, Veschgini K, Salmhofer M, et al. Essentially No Barriers in Neural Network Energy Landscape[C]. international conference on machine learning, 2018: 1308-1317.

梗概

作者认为， 神经网络中，假设\(\theta_1, \theta_2\)都是使得损失达到最小的参数，那么通过一些手段，可以找到一个路径(path)，沿着这条路径，其上的\(\theta\)也会使得损失很小，几乎与最小没什么区别.

并且作者给出了如何寻找，以及一种扩展方式.

可惜的是，这些都只是猜想，有许多事实支撑，但缺乏理论论证.

主要内容

path的定义

\[ p(\theta_1, \theta_2)^*= \mathop\mathrmargmin \limits_p \: from \: \theta_1 \: to \: \theta_2 \\max_\theta \in p L(\theta)\. \]

可以说，这个定义非常之简单粗暴了.

需要一提的，作者是\(\theta \in p(\theta_1, \theta_2)^*\)中使得\(L(\theta)\)到达最大的点为鞍点，不过我不知道该怎么证明.

称此路径为MEP(minimum energy path).

path的逼近

上面的那个问题自然是很难求解的，所以不得不去寻找一个替代.

Mechanical Model

假设已经有一组点\(p_i\)(N+2)个, \(p_0=\theta_0, p_N+1=\theta_2\), 考虑下式:
\[ E(p)=\sum_i=1^N L(p_i) + \sum_i=0^N \frac12k\|p_i+1-p_i\|^2, \]
其中，\(k\)是人为设定的值.

当\(k\)很小的时候，高能量(损失)的点之间的距离会拉大. 关于这个论点我有一点存疑，因为我觉得如果\(k\)真的很小很小，那么\(p_i\)应该会缩在一起吧，比如俩端. 当\(k\)过大的时候，路径会被缩短和拉紧(像弹簧)，这点我是认同的，因为\(p_0, p_N+1\)之间的线段会最短，这个肯定是不会太好的，因为会错过"鞍点".

Nudged Elastic Band

一个改进的版本是:
\[ F_i = -\nabla_p_i E(p)=F_i^L+F_i^S, \]
即把\(E(p)\)分成了俩个部分, 进一步:
\[ F_i^NEB=F_i^L|_\perp+F_i^S|_\parallel. \]
也就是说，认为第一部分\(\sum L(p_i)\)只提供一个垂直的力，而剩下的一部分只提供一个平行的力，就像一根弹性绳一样，一方面有一个上下拉扯的力，另一方面有一个水平伸缩的力.

其中\(\hat\tau_i\)是路径的切线方向. 如何定义这个方向呢:

\(\mathcalN(x)\)将\(x\)归一化.

作者说，这么做，使得不会出现拉紧的情况了，值得商榷.

算法:

我奇怪的一点是，为什么更新\(p_i\)的时候，只受到\(F_i^L|_\perp\)的作用，切线方向的力呢?

还有一个AutoNEB, 这个算法就是上面的扩展，使得我们自动增加点\(p_i\).

局部最优

作者说，通过上面的算法，往往会找到局部最优的MEP，但是呢，通过某些方法，我们也能使得这些局部最优显得可靠.

假设\(A, B, C\)三个点，代表了三个最小的参数点, 而且我们有了局部最优的路径\(L_AB, L_BC\), 那么:

这个结论是显然的, 另外:

这个什么意思呢，就是\(A\rightarrow B \rightarrow C\)也是\(A \rightarrow C\)的一个路径，所以自然有上式成立.

这个有什么用呢?

假设我们有很多个最小值点\(t_1, \ldots, t_N\), 先利用算法找到\(t_1\)到\(t_2, \ldots, t_N\)的路径，这个就像一棵树(论文用树来表示，其实图更恰当吧). 可能绝大部分都是局部最优的，如何判断这些局部最优的优劣性. 首先，选出每一条路径中的最大能量点(“鞍点”)\(c_2, \ldots, c_N\), 不妨设\(t_1 \rightarrow t_k\)的路径拥有这些点中最大的，也就是最坏的一个路径. 我们可以试着从\(t_k\)往其它的寻找路径，如果能够找到一个路径(假设为\(t_j\)), \(t_k \rightarrow t_j\)， 使得\(t_1 \rightarrow t_j \rightarrow t_k\)比直接\(t_1 \rightarrow t_k\)更优，那么我们就找到一个更好的路径，将其替换，以论下来，再对次劣的进行操作...
这样子，我们就能够有足够的理由相信，这些局部最优的路径是可靠的.

经过实验，作者发现，越深，越宽(每层的神经元个数)的网络，最优点之间的MEP越会展现出无障碍平坦的性质，即普遍的小损失.

如果确实如此，那么我们就容易构造一族解，这样网络就更灵活了不是？