带有偏差更新的神经网络 sigmoid 激活

Posted 2023-03-13

【中文标题】带有偏差更新的神经网络 sigmoid 激活

【英文标题】：Neural Networks sigmoid activation with bias updates

【发布时间】：2014-11-26 13:02:58

【问题描述】：

我想弄清楚我是否正在使用 sigmoid 激活函数并正确使用偏差来创建人工神经网络。我希望一个偏置节点输入到所有隐藏节点，静态输出 -1 结合其权重，然后一个输出也静态输出 -1 结合其权重。然后我可以像训练其他神经元一样训练这些偏差，对吗？！

【问题讨论】：

你应该尝试在Cross Validated中询问这个

【参考方案1】：

这是一个正确的推理，但是设置“-1”值是相当罕见的（为什么不设置+1？），我以前在文献中从未见过这种情况。如果您保持正确的图形结构，那么更新“真实”节点和“偏差节点”的权重之间没有区别。如果您不存储图形结构，则可能会出现唯一的区别，因此您不“知道”偏差（连接到输出节点的偏差）没有“子节点”，因此信号不会“反向传播”更深地进入网络.我见过这样的代码，它们只是将层存储为数组，并将偏差放在索引 0 处，因此它们可以在反向传播期间从 1 迭代。显然，基于图形的实现更具可读性（但是由于您无法对计算进行矢量化，因此速度要慢得多）。

【讨论】：

关于反向传播需要对偏置节点进行特殊处理的好点。