关于自适应的线性模型与神经网络非线性模型的一些理解：

Posted 2021-04-26 小怼研学路

自适应、信号估计等都是建立的线性模型，好处是可以在数学上做很严谨的分析，所以你可以看到自适应它背后是有一套完备的数学理论的。但缺点是这种简单线性模型只适用于比较简单的任务。
       而我们慢慢的想要处理比较复杂的任务，此时线性已经不能满足了，所以我们想引入非线性。但是非线性模型在数学上得到闭式解是很困难的，所以对于神经网络，我们并没有很严格的数学分析，对其理解也微乎其微，它更多的对我们来说类似一个“玄学”。

       但我们之所以能够把它用得这么好，是因为反向传播算法的提出， 这种链式求导法则不需要闭式表达式，为嵌套的非线性函数的优化提供了可能，这使得我们在不清楚其复杂的数学原理的情况下也能够使用它。
       所以说，反向传播算法是沟通我们与非线性的一道桥梁，但正因为其本质是复合函数的链式求导法则，所以是具有一定局限性的，它只能使用在神经网络这种级联形的模型结构上。