了解卷积神经网络如何使用TDA学习

Posted 2020-12-30 hacker520

　　在我之前的文章中，我讨论了如何对卷积神经网络（CNN）学习的权重进行拓扑数据分析，以便深入了解正在学习的内容以及如何学习它。

　　这项工作的重要性可归纳如下：

　　它使我们能够了解神经网络如何执行分类任务。

　　它允许我们观察网络的学习方式

　　它允许我们看到深层网络中的各个层如何在它们检测到的内容上有所不同

　　在这篇文章中，我们展示了如何将这种理解用于实际目的。那些是：

　　如何使用持久同源性的条形码长度来推断CNN的准确性。

　　我们的研究结果如何从一个数据集推广到下一个数据集。

　　使用持久同源条形码方法如何定量测量数据集的定性性质。

　　我们需要回顾上一篇文章中的一些想法。引入的一个想法是使用持久同源作为测量数据形状的工具。在我们的例子中，我们使用持久同源性来测量圆形的大小和强度或“明确定义”。

　　我们首先回顾一下持久同源性的概念。持久同源性分配给任何数据集并标注“条形码”，它是间隔的集合。在维度=0时，条形码输出反映了数据集分解为集群或组件。

　　对于更高维度，持久同源性测量除聚类分解之外的几何特征的存在。在dimension=1的情况下，条形码测量数据集中循环的存在。

?　　在左边，条形码包括一个长条和一些更短的条。长条反映了圆的存在，而较短的条反映了噪声。在右边，我们再次有对应于噪音的短杆和两个不同长度的长杆。这些条反映了两个环的存在，条的不同长度对应于环的大小。条形的长度也可以反映出可能被称为循环的“明确定义”的东西。

　　在左边，我们有一个非常明确的循环及其条形码。在右侧，循环中添加了一些噪声，使得更加分散且定义不太明确。右边最长的条比左边的条长。因此，最长条的长度可以反映环的明确定义。

　　推断CNN的准确性

　　实际上是通过条形码中存在一个长条来确认的。我们现在想要了解随着训练的进展，循环形状是如何演变的。

　　我们通过检查条形码中最长条的长度（可以在训练的任何阶段计算）与训练点的准确度之间的相关性来实现这一点。我们对两个数据集MNIST和第二个房号数据集进行了这些计算，称为SVHN。

　　跨数据集的推广

　　第二个发现涉及从一个数据集到另一个数据集的泛化过程。具体来说，我们训练了基于MNIST的CNN，并在应用于SVHN时检查其准确性。我们使用三种不同的方法进行了培训。

　　测量可变性

　　第三个发现涉及检查两个数据集的可变性。定性地，我们可以确定SVHN比MNIST具有更多的可变性。反过来，我们希望SVHN提供更丰富的数据集和更精确的权重向量数据集。实际上，SVHN的持续时间间隔明显长于MINST（1.27对1.10）。这从上面进一步证实，所生成的圆模型的“良好定义性”与神经网络的质量之间存在强相关性。

　　加起来

　　拓扑分析在这种类型的分析挑战中有用的原因是它提供了一种将复杂数据集压缩为可理解且可能可操作的形式的方法。在这里，与许多其他数据分析问题一样，获得对数据中“频繁出现的图案”的理解至关重要。上述观察结果表明，拓扑分析可用于获得对CNN学习和泛化能力的控制和理解。这些方面还有许多进一步的想法，我们将在以后的文章中讨论。（欢迎转载分享）