Max-pooling VS Sum-pooling

Posted 2023-03-12

【中文标题】Max-pooling VS Sum-pooling

【英文标题】：

【发布时间】：2016-09-22 21:33:00

【问题描述】：

在阅读Convolutional Neural Networks (LeNet) 之后，我_部分了解了 Max-pooling：

CNN 的另一个重要概念是最大池化，它是 非线性下采样。最大池化将输入图像划分为 一组不重叠的矩形，并且对于每个这样的子区域， 输出最大值。

Sum-pooling 怎么样？我找不到任何易于理解的文章。

【参考方案1】：

卷积神经网络在处理高维数据方面做得很好。由于图像或声音的不变性，将权重的数量仅限制为内核权重会使学习更容易。但是，如果您仔细观察发生了什么，您可能会注意到，如果您不使用池化之类的技巧，在第一个卷积层之后，您的数据维度可能会严重增加。

最大池化仅通过仅从卷积层的固定区域获取最大输入来降低数据的维度。 Sum pooling 以类似的方式工作 - 通过取输入的总和而不是最大值。

这些方法之间的概念差异在于它们能够捕捉到的那种不变性。 最大池化对池化区域中某些模式的存在很敏感。 Sum pooling（与 Mean pooling 成比例）测量给定区域中模式存在的平均值。

更新：

Sum pooling / Mean pooling 的子区域设置与 Max pooling 完全相同，但您使用 ma​​x 函数而不是 ma​​x强>总和/平均。您可以在关于池的段落中阅读here。

【讨论】：

感谢您的回答！但是，仍然不清楚。在 max-pooling 中，我们选择具有最大值的子区域。在 sum-pooling 中，我们如何选择选择哪个子区域？或者这种情况下没有子区域？

有子区域 - 它们的设置方式与最大池化情况完全相同。我更新了我的答案。

哦，Marcin，太棒了！我知道了，请检查：在您提供的链接中常规池部分的右侧示例中，我们为左上子区域保留 6，因为它是最大值。对于 sum-pooling，我们会保留 (1+1+5+6=)13，对吗？