为啥NNtool box中神经网络输出激活函数的建议是纯的？

Posted 2023-03-29

【中文标题】为啥NNtool box中神经网络输出激活函数的建议是纯的？

【英文标题】：why the suggestion of output activation function of neural network in NNtool box is pureline?为什么NNtool box中神经网络输出激活函数的建议是纯的？

【发布时间】：2014-11-28 03:55:48

【问题描述】：

当我研究神经网络时，数学推导总是在隐藏层和输出层使用 sigma 函数。但 Mathworks 中的 NNtool 框建议用户在隐藏层使用 sigma，在输出层使用 pureline。谁能告诉我为什么输出层可以是纯线？我只是无法理解此激活功能的原因。

http://imgur.com/9V2HIlF // 传统的反向传播公式

作为公式，如果我使用纯函数，结果会很不一样。但是我没有看到输出激活函数是纯线的反向传播的任何推导。我只是想知道是否有任何理由使用 prureline，而它与传统的反向传播不同。

【参考方案1】：

在人工神经网络中使用 sigmoid 函数作为激活函数的目的是限制输出范围。如果在隐藏层使用，隐藏层节点的数量是有限的，输出层节点的增益是有界的，那么输出层节点的输出就会有界。

但是，这只是一个建议。你仍然可以在输出层使用 sigmoid。