关于函数拟合,线性,非线性的一些见解(转)

Posted strangewx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于函数拟合,线性,非线性的一些见解(转)相关的知识,希望对你有一定的参考价值。

from: http://blog.sciencenet.cn/blog-1255140-1025724.html

函数拟合

   现实中各种各样的问题都可以归结为函数问题。比如医生诊断疾病,他得到病人检查的各种参数,体温、血压、血检报告和CT扫描的各种数据等,然后判断他是否健康,还是得了什么病。这个例子里,各种参数就是函数的自变量,病人的健康情况是函数值,比如健康是0,有病是1,也可以更具体,肝病是1,胃病是2等。又比如识别物体,输入的是物体的像素数据,输出的是物体的类别,是猫是狗,还是苹果梨子等。

机器学习是从样例中总结出规律,本质上是函数拟合。从有限的样本中得到一个函数,使它能拟合样本数据,然后把它应用到新的样例中。我们学习知识的过程也类似。比如我们每次见了狗,都跟小孩子说这是一条狗,经历过几次后,小孩子就能总结出规律,知道狗是什么样子,以后出现未见过的狗,他也会判断。

 

神经元模型

人工神经网络的研究受到了真实神经网络的启发。神经元是人工神经网络的基本要素,它表示为:

        技术分享图片

Sum是求和函数,x1、x2……xn是输入,w1、w2、……wn是权重:

 

Sum(x1,x2,……,xn)= w1x1 + w2x2 +……+ wnxn + b

f是激活函数。最简单的激活函数是符号函数,如下:

技术分享图片    

技术分享图片

所以这个神经元模型表示的函数是:y=f (x1,x2,……,xn)

                                    =f (w1x1 + w2x2 +……+ wnxn + b)

 

线性划分

上面的神经元模型虽然简单,但它可以实现很多函数。比如可用它来表示大部分布尔函数。用1和-1分别表示真和假。设置w1=w2=0.5,b=-0.8,这时神经元是逻辑AND函数。将b改为-0.3,则变成OR函数。但它无法表示XOR函数(当x1≠x2时,输出为1,否则为0)。

由于这个神经元函数是线性函数,所以可以把它看作是n维空间的超平面决策器。对于超平面一侧的样例,神经元输出1,另一侧则输出-1。

空间的点是线性可分时,可用单个神经元划分,否则不行。比如下面的左图,红色的点和蓝色的点可用一根直线分开,这些点可用神经元分类,而右边是XOR函数,无法用直线分开,解决:多层神经刚落。

技术分享图片

 

多层网络

单层网络的功能太弱,引入多层网络,除了输入层和输出层外,其他的层是隐藏层。

前馈神经网络是最基本的多层网络,上一层的神经元和下一层的每个神经元都有连接,不能跨层连接,同一层的也不连接。可以看出这实质上是个复合函数。

除了前馈神经网络外,还有其他类型的网络,它们不遵守上面的这些限定。

前馈神经网络

技术分享图片

   

学习算法

教小孩子什么是苹果,先告诉他这几个是苹果,他自己会总结出一些特征。当出现一个梨子时,他若判断为苹果,就告诉他这是错的。他会根据这个梨子和苹果的差异,修改他关于苹果的认知,这样反复几次后,就会掌握苹果这个概念。

学习算法是神经网络中最核心的要素,神经网络的学习和上面小孩子的学习有些相似。学习的目的是获得网络连接的正确权值。有各种各样的学习算法,反向传播算法是很重要的一种。它将网络输出和正确的函数值进行比较,根据两者的差异修改权值,再将修改后得到的网络输出和正确值比较,再根据差异修改,这样多次重复,逐渐缩小两者的差异。

下面是反向传播算法的图示,图中的f(x)是激活函数。

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

图片来源:http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

 

以上是关于关于函数拟合,线性,非线性的一些见解(转)的主要内容,如果未能解决你的问题,请参考以下文章

最小二乘法拟合非线性函数及其Matlab/Excel 实现(转)

关于线性回归

非线性曲线的matlab拟合?

tensorflow神经网络拟合非线性函数

怎么用matlab进行非线性的多元函数拟合?

如何用mathematica完成非线性函数的拟合