DNN

Posted 2021-02-02 ordili

DNN

一、感知机

我们介绍过感知机的模型，它是一个有若干输入和一个输出的模型，如下图:

 

 

输出:

激活函数：

 

 从而得到我们想要的输出结果1或者-1。

这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。

 

二、DNN

2.1 DNN介绍

 

 DNN是深度神经网络，其实就是一个多层感知机，DNN相对于感知机的区别：

• 加入了隐藏层
• 输出层的神经元不止一个
• 扩展了激活函数，如sigmod,tanx,softmax,ReLU

2.2 DNN前向算法

前向传播实际上就是利用上一层的输出计算下层的输出。

表示第l-1层的第k个神经元指向第l层的第j个神经元的权重。

 

前向传播算法

假设第l-1层共有m个神经元，则对于第l层的第j个神经元的输出，我们有：

 

　　从上面可以看出，使用代数法一个个的表示输出比较复杂，而如果使用矩阵法则比较的简洁。假设第l-1层共有m个神经元，而第l层共有n个神经元，则第l层的线性系数W组成了一个n*m的矩阵, 第l层的偏倚b组成了一个n*1的向量b₁,第l-1层的的输出a组成了一个m*1的向量a^l-1，第l层的的未激活前线性输出z组成了一个n*1的向量z^l ，第l层的的输出a组成了一个n*a的向量a^l。则用矩阵法表示，第l层的输出为：