计算机潜意识-神经元

Posted klausage

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了计算机潜意识-神经元相关的知识,希望对你有一定的参考价值。

 1.引子 

  对于神经元的研究由来已久,1904年生物学家就已经知晓了神经元的组成结构。

  一个神经元通常具有多个树突,主要用来接受传入信息;而轴突只有一条,轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接,从而传递信号。这个连接的位置在生物学上叫做“突触”。

  人脑中的神经元形状可以用下图做简单的说明:

技术分享图片

 

 

   1943年,心理学家McCulloch和数学家Pitts参考了生物神经元的结构,发表了抽象的神经元模型MP。在下文中,我们会具体介绍神经元模型。

技术分享图片   技术分享图片

 

  2.结构 

  神经元模型是一个包含输入,输出与计算功能的模型。输入可以类比为神经元的树突,而输出可以类比为神经元的轴突,计算则可以类比为细胞核。

  下图是一个典型的神经元模型:包含有3个输入,1个输出,以及2个计算功能。

  注意中间的箭头线。这些线称为“连接”。每个上有一个“权值”。

技术分享图片

图6 神经元模型 

 

  连接是神经元中最重要的东西。每一个连接上都有一个权重。

  一个神经网络的训练算法就是让权重的值调整到最佳,以使得整个网络的预测效果最好。

  我们使用a来表示输入,用w来表示权值。一个表示连接的有向箭头可以这样理解:在初端,传递的信号大小仍然是a,端中间有加权参数w,经过这个加权后的信号会变成a*w,因此在连接的末端,信号的大小就变成了a*w。

  在其他绘图模型里,有向箭头可能表示的是值的不变传递。而在神经元模型里,每个有向箭头表示的是值的加权传递。

技术分享图片

 

  如果我们将神经元图中的所有变量用符号表示,并且写出输出的计算公式的话,就是下图。

技术分享图片

 

  可见z是在输入和权值的线性加权和叠加了一个函数g的值。在MP模型里,函数g是sgn函数,也就是取符号函数。这个函数当输入大于0时,输出1,否则输出0。

  下面对神经元模型的图进行一些扩展。首先将sum函数与sgn函数合并到一个圆圈里,代表神经元的内部计算。其次,把输入a与输出z写到连接线的左上方,便于后面画复杂的网络。最后说明,一个神经元可以引出多个代表输出的有向箭头,但值都是一样的。

  神经元可以看作一个计算与存储单元。计算是神经元对其的输入进行计算功能。存储是神经元会暂存计算结果,并传递到下一层。

技术分享图片

 

 

  当我们用“神经元”组成网络以后,描述网络中的某个“神经元”时,我们更多地会用“单元”(unit)来指代。同时由于神经网络的表现形式是一个有向图,有时也会用“节点”(node)来表达同样的意思。 

  3.效果 

  神经元模型的使用可以这样理解:

  我们有一个数据,称之为样本。样本有四个属性,其中三个属性已知,一个属性未知。我们需要做的就是通过三个已知属性预测未知属性。

  具体办法就是使用神经元的公式进行计算。三个已知属性的值是a1,a2,a3,未知属性的值是z。z可以通过公式计算出来。

  这里,已知的属性称之为特征,未知的属性称之为目标。假设特征与目标之间确实是线性关系,并且我们已经得到表示这个关系的权值w1,w2,w3。那么,我们就可以通过神经元模型预测新样本的目标。

  4.影响

  1943年发布的MP模型,虽然简单,但已经建立了神经网络大厦的地基。但是,MP模型中,权重的值都是预先设置的,因此不能学习。

  1949年心理学家Hebb提出了Hebb学习率,认为人脑神经细胞的突触(也就是连接)上的强度上可以变化的。于是计算科学家们开始考虑用调整权值的方法来让机器学习。这为后面的学习算法奠定了基础。

 

 

  尽管神经元模型与Hebb学习律都已诞生,但限于当时的计算机能力,直到接近10年后,第一个真正意义的神经网络才诞生。

 

以上是关于计算机潜意识-神经元的主要内容,如果未能解决你的问题,请参考以下文章

计算机的潜意识-简介

机器学习知识体系 - 神经网络(基础)

2020最可怕,周二心情最糟糕!基于神经网络的计算机情绪分析

图像识别是什么,卷积神经网络如何进行图像识别的?底层技术

当深度学习遇上图: 图神经网络的兴起!

隆天律丛∣基于复审案例浅谈神经网络的客体问题