S型函数：Sigmoid 函数

Posted 2020-08-11 小河沟大河沟

     

      Logistic函数或Logistic曲线是一种常见的S形函数，它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的。广义Logistic曲线可以模仿一些情况人口增长（P）的S形曲线。起初阶段大致是指数增长；然后随着开始变得饱和，增加变慢；最后，达到成熟时增加停止。

     

Sigmoid函数，即f(x)=1/(1+e-x)。神经元的非线性作用函数。（-x是幂数）

 

sigmoid函数是一个良好的阈值函数,

连续，光滑
严格单调
关于(0,0.5)中心对称
对阈值函数 
       _ 1, x > \delta
f(x)= /
             - 0, x < -\delta
的良好近似

其导数f‘(x)=f(x)*[1-f(x)]，可以节约计算时间

f(x) = 1/[1+e^(-x)].图形如上。
如果x = a*r.其中a为倾斜系数，当a足够小，这个图形可以无限制接近你这个阈值函数

 

人工神经网络的学习算法-BP算法 
神经网络的学习是基于一组样本进行的，它包括输入和输出（这里用期望输出表示），输入和输出有多少个分量就有多少个输入和输出神经元与之对应。最初神经网络的权值（Weight）和阈值（Threshold）是任意给定的，学习就是逐渐调整权值和阈值使得网络的实际输出和期望输出一致。 
我们假设样本有P个，输入层有N个神经元，隐含层有K个神经元，输出层有M个神经元。Xj为输入层神经元j的输入，Hj为隐含层神经元j的输出，Fj为输出层神经元j的实际输出，Rj为输出层神经元j的期望输出，前一层的输出即为后一层的输入。Whji是输入层神经元i与隐含层神经元j之间的连接权值，Thj是隐含神经元j的阈值，Woji是隐含层神经元i与输出层神经元j之间的连接权值，Toj是输出神经元j的阈值。神经元的非线性作用函数是Sigmoid函数，即f(x)=1/(1+e-x)。