神经网络拟合连续函数

Posted 2020-11-22 bluebluesea

参考自：https://www.zhihu.com/question/268384579下面的回答。

1.分段线性函数可以拟合任意连续函数，如何理解？

评论里的回答：可以通过让每个分段的长度无穷小来逼近。

//回答中提到了Borel可测函数，搜了一下发现十分复杂，遂中止。

2.含两个隐层神经元的单隐层感知机可以形成脉冲函数，即累计量大于0的话就为1，否则为0（个人理解）。

感知机中的激活函数为，符号判别函数：

 

 总之使用感知机可以通过积分的思想拟合连续函数：

 

 

 

 3.阶梯函数在函数空间是稠密的，所以用连续函数可以逼近可测函数。

 4.通用近似定理

https://zhuanlan.zhihu.com/p/39030338

第一次学习通用近似定理。

 参考：https://www.jianshu.com/p/d27cbfb01711

 5.神经网络是要拟合数据集的一个连续函数的分布，那么衡量这个拟合结果就需要损失函数，损失函数最小，无约束求极值梯度下降，也可以用熵的原理。

  

 

6.浅析 Hinton 最近提出的 Capsule 计划： https://zhuanlan.zhihu.com/p/29435406