用 sigmoid 神经元替换感知器网络

Posted 2023-03-12

【中文标题】用 sigmoid 神经元替换感知器网络

【英文标题】：Replacing a network of perceptrons by sigmoid neurons

【发布时间】：2015-01-27 03:51:30

【问题描述】：

在我们介绍 sigmoid 神经元（具有 sigmoid 激活函数的神经元）之前，该站点给出了一些数学阐述，即关于感知器。 http://neuralnetworksanddeeplearning.com/chap1.html

它从感知器开始，然后到 sigmoid 神经元。一切都很好，但我似乎无法证明本章后面的第二个问题“Sigmoid 神经元模拟感知器，第二部分”。我很难相信您可以用偏差和权重不变的 sigmoid 神经元网络替换感知器网络（在这里可以很容易地构建一个反例：将权重 17、-6、-3 用于第三层和最后一层第四层的神经元，其中 b = -3 和 w = 17, -6 in wx + b >= 0，对于 1,0,0（包括偏差 x_0），感知器网络给出 0，而 sigmoid 网络可以给出1).

谁能帮助我，告诉我我错过了什么或哪里出错了？ 谢谢。

【参考方案1】：

感知器的输出只能是1或0，而当wx+c=0时，输出是1/2，所以其中一个感知器在wx+c=0时会失败

【参考方案2】：

不，你不能，在权重不变的情况下。但是 sigmoid 是二进制阈值单元的连续近似，应该是相似的。页面是这样写的：

现在用 sigmoid 神经元替换网络中的所有感知器，并将权重和偏差乘以一个正常数 c>0。证明在 c→∞ 的极限下，这个 sigmoid 神经元网络的行为与感知器网络完全相同。

这是真的。当您将所有权重乘以较大的值时，sigmoid 单位和阈值单位之间的微小差异会越来越小。非常大的 sigmoid 输入总是产生 0 或 1。

【讨论】：

我也是这么想的。感谢您的回复。