神经网络与深度学习——《机器学习及应用》汪荣贵 机械工业出版社
Posted DHuifang004
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了神经网络与深度学习——《机器学习及应用》汪荣贵 机械工业出版社相关的知识，希望对你有一定的参考价值。
摘录自《机器学习及应用》汪荣贵 机械工业出版社
总结了一些神经网络与深度学习中的一些网络介绍。
1.神经元与感知机
（1）关于激活函数
（2）MLP
MLP模型的网络结构没有环路或回路，故是一类前馈网络模型。MLP模型中隐含层的层数可为一层也可为多层。对于MLP模型和BP神经网络这样包含多个数据处理层的前馈网络模型而言，其参数更新过程通常较为复杂。这是因为这类模型的最终输出与之前多层的连接权重相关，相当于多层嵌套的函数。若直接使用类似于梯度下降的优化方法对模型进行训练，则无法直接求得各结点所对应误差以及参数所对应梯度。此时可以考虑使用反向传播算法对误差和参数所对应的梯度进行逐层求解，故通常亦将多层前馈神经网络称为BP神经网络。
2 神经网络常用模型
2.1 前馈神经网络：径向基网络和自编码网络。
（1）RBF网络：
前述MLP模型与BP神经网络模型均为全局逼近型前馈网络模型。所谓全局逼近型网络，是指任意一个或多个网络模型参数对神经网络模型的任意输出均存在影响，每个参与模型训练的样本均会调整模型的全部可学习参数。作为与MLP模型与BP神经网络模型不同的另外一种前馈网络模型，径向基函数(Radial Basis Function，RBF)神经网络则是一种局部逼近型网络模型。所谓局部逼近型网络，是指网络模型输出仅与少数几个连接权重相关，对于每个参与模型训练的样本，通常仅有少数与其相关的权重需要更新。这种局部性的参数更新方式有利于加快模型训练过程。通常将径向基函数神经网络简称为径向基网络或RBF网络。
不同于回归任务的数据拟合，RBF网络对于此类问题的求解思路则是通过对已知离散数据进行插值的方式确定网络模型参数。
径向基函数的自变量是距离。有很多可供选择的径向基函数：高斯径向基函数，反演S径向基函数等。正规化径向基网络的输入层结点数目与样本维数相同，用于接收数据输入
以上是关于神经网络与深度学习——《机器学习及应用》汪荣贵 机械工业出版社的主要内容，如果未能解决你的问题，请参考以下文章