前馈神经网络|从感知机到深度学习

Posted 2021-04-19 松子茶

 YI时间｜外刊｜MM-DFW｜机器学习系列
点击上方 蓝字 ，关注给你写干货的 松子茶

这节我们从时间轴了解一下深度学习的发展史，如图所示。

• 1958，感知器PLA 

• 1969，PLA  has limination 解决不了非线性问题。如：异或问题。

• 1981，多层感知机MLP，多层感知机的出现解决了非线性问题。

• 1986，BP 算法应用在 MLP 上，RNN

• 1989，CNN，Univeral Approximation Theorem，但是于此同时，由于深度和宽度的相对效率不知道，并且无法解决 BP 算法的梯度消失问题

• 1993，1995，SVM + kernel，AdaBoost，RandomForest，这些算法的发展，深度学习逐渐没落

• 1997，LSTM

• 2006，基于 RBM 的 深度信念网络和深度自编码

• 2009，GPU的发展

• 2011，在语音方面的应用

• 2012，ImageNet

• 2013，VAE

• 2014，GAN

• 2016，AlphaGo

• 2018，GNN

所以， 深度学习不是一个新的东西，而现实的意义和应用主要原因如下：

• 数据量变大
  

• 分布式计算的发展
  

• 硬件算力的发展

欢迎评论哦，纠错评论建议均可

-THE END-