神经网络模型 基本概念 一文看懂

Posted 软件工程小施同学

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络模型 基本概念 一文看懂相关的知识,希望对你有一定的参考价值。

1. 神经元

Xi为一项输入,Wi为对应的参数

先求和W0*X0+W1*X1+W2*X2+....=sum

再使用激活函数得到f(sum)=y

2. 神经网络

  • 输入层 :负责将输入向量传递给神经网络。如果我们有一个包含 3 个特征的矩阵(形状 N x 3),则该层将 3 个数字作为输入,并将相同的 3 个数字传递给下一层。

  • 隐藏层 :代表中间节点,它们对数字进行多次变换以提高最终结果的准确性,输出由神经元的数量定义。

  • 输出层 :返回神经网络最终输出的 如果我们进行简单的二元分类或回归,输出层应该只有 1 个神经元(因此它只返回 1 个数字)。在具有 5 个不同类别的多类别分类的情况下,输出层应有 5 个神经元。

3. 神经网络模型

标准神经网络、CNN、RNN

4. 激活函数

假设有一个包含 N 行、3 个特征和 1 个目标变量(二分类,取值0或1)的数据集,如下图所示:

接下来我们要进行一个简单的计算来对结果进行预估,下面的操作类似于单个神经网络的计算,f(WX+b),其中f函数叫做激活函数。

5. 激活函数类型

激活函数是非线性的映射函数,使得神经网络具备强大的非线性拟合学习能力

6. 偏执项(bias)

在每个神经元内部,输入和权重的线性组合也包括一个偏差,类似于线性方程中的常数,因此神经元的完整公式是

7. 反向传播

在训练期间,模型通过将误差传播回节点并更新参数(权重和偏差)来学习以最小化损失。

8. 损失函数

常常利用梯度下降法来使损失函数Loss function的值尽可能小,即让神经网络的预测值(实际输出)和标签值(预期的输出)尽可能接近

如均方误差损失函数(MSE):

9. 梯度下降

在最陡下降方向上重复步骤来找到损失函数的局部最小值。

 来源:

学习深度学习--深度学习中的一些基本概念

https://mp.weixin.qq.com/s/47g5qOTcoFPtHLsoDWarGw?forceh5=1

师妹问我怎么搭建神经网络

https://mp.weixin.qq.com/s/WbA9rdgFV482Q0giT-gU7A?forceh5=1

Keras-人工神经网络--随机梯度下降法

https://www.jianshu.com/p/2d6bbebefd80

通俗易懂讲解ML中的均方误差 (MSE) - haltakov

https://www.jdon.com/57661

微程序学堂

以上是关于神经网络模型 基本概念 一文看懂的主要内容,如果未能解决你的问题,请参考以下文章

一文看懂25个神经网络模型

神经网络系列第二讲 一文看懂25个神经网络模型(上)

一文看懂四种基本的神经网络架构

一文读懂神经网络

一文看懂深度学习——人工智能系列学习笔记

循环神经网络模型,seq2seq模型理解