卷积网络的训练方法还叫深度学习吗？

Posted 2023-03-12

【中文标题】卷积网络的训练方法还叫深度学习吗？

【英文标题】：Is the training method of a Convolutional Network still known as deep learning?

【发布时间】：2014-06-03 13:25:09

【问题描述】：

在 ImageNet Classification with Deep Convolutional 等论文中 神经网络

http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf

训练方法似乎是带有随机梯度下降的基本反向传播。

尽管 CNN 是深度神经网络的一部分，但这纯粹是因为存在大量隐藏层吗？这是否意味着这里的反向传播属于深度学习的范畴，因为网络很深，即使它不遵循与使用贪婪层明智训练（一种真正的深度学习技术）的 DBN 之类的模式相同的模式？

感谢您的帮助和建议。

【问题讨论】：

这被称为深度，因为隐藏层的数量比它的祖先多。它们是成功的，因为人们找到了更多方法来处理更深的 NN 模型（ReLU、Dropout、Maxout、响应归一化......）的梯度递减问题。由于 GPU，它们是可行的。

@Erogol 你知道最近有什么总结论文描述了那些解决梯度递减问题的技术吗？

【参考方案1】：

如果你阅读深度学习的***页面，它说：“深度学习是机器学习的一个分支，它基于一组算法，它试图通过使用具有复杂结构或复杂结构的多个处理层对数据中的高级抽象进行建模。否则，由多个非线性变换组成”。

CNN 具有多层非线性变换，因此符合深度学习模型的要求。

这本书也来自麻省理工学院http://www.deeplearningbook.org/ CNN 也是深度学习模型的一部分。

DBN 和 CNN 之间存在一个重要区别，第一个是无监督模型，另一个不是，除了一个使用 DBN 进行预初始化。

如果您阅读了同样属于深度学习模型的 RNN 或 LSTM，您会发现它们基本上都是使用一种称为随时间反向传播的反向传播的修改版本进行训练的。

因此，请记住数据中模型高级抽象的多重非线性变换的概念。

此外，深度学习指的是模型而不是训练。

【参考方案2】：

深度学习技术是人工智能在特定领域的最新技术卷积神经网络 (CNN) 在模式识别、物体或人脸识别方面非常有效，许多库都可用于 CNN，例如 Itorch， theano,数字等 深入理解神经网络和深度学习click here

【参考方案3】：

据我所知

1 个神经元和 1 层 -> 称为感知器

2 个或更多神经元，1 层，1 个输入 --> 作为直线方程 y = w*x + w0

2 个或更多神经元，1 层，多个输入实例 --> 超平面

当您将 sigmoid 功能添加到这些神经元激活的输出并将它们组合到另一个感知器或多个神经元中时，您会得到超平面的非线性组合。

使 CNN 被称为 CNN 而不是简单的深度神经网络的原因在于，您可以学习可以在图像的任何部分中的局部邻域权重。所以神经元激活之间存在权重共享过程。

假设您在 1 层中有 N 个不同的 20x20 灰度图像和 5 个隐藏单元， 如果您要实现一个完全连接的深度神经网络，您可以尝试为第一个隐藏层学习一个 400x5 的权重矩阵 - 因此有 2000 个参数。作为输出，每个 N 图像都有 5 维向量。 但是在 cnn 结构中，您可以在这些 20x20 图像中确定一个合理的块大小，比如说 4x4，并学习 5 个不同的 4x4 权重 - 因此有 80 个参数。作为第一个隐藏层的输出，每个 N 图像会有 5 个不同的 17x17 图像。以另一种方式查看第一层的输出是每个 N 图像的 1445 维向量。因此，就像您学习的参数更少，但作为输出，您需要学习更多的维度。

所以当我看到你的问题时，

如果只有 1 层，并且在 1 层之后进行分类/回归，则不会称为 DBN。但它仍然可以称为 CNN，因为有“卷积”和“神经网络”的概念。当然，只有 1 个单层就不会有“反向传播”。

存在超过 1 层时需要反向传播。因为这个概念是能够在没有我们可以在中间层看到的“真实/预期输出”的情况下反向传播一些错误。我们只有回归/分类的最后一层的基本事实。因此，如果我正确理解了您的问题，那么这里的反向传播属于深度网络类别。

我们不能说“CNN 不遵循与 DBN 相同的模式”。因为它们肯定是具有权重共享功能的 DBN。

我希望这能回答您的问题。另外，我认为在这里指出 DBN 和 DNN 之间的区别会很好。

引用其他网站 (https://www.quora.com/Deep-Learning/What-are-the-difference-and-relevance-between-DNN-and-DBN)

“深度信念网络基于无监督数据构建信念（实例之间的概率关系），然后在呈现有监督数据时将这些关系应用于问题。

基本上，在无监督的情况下学习，那里有更多数据可供学习，然后用于解决问题。

深度神经网络只是大型多层神经网络。”