前馈神经网络|从机器学习到深度学习

Posted 2021-04-19 松子茶

 YI时间｜外刊｜MM-DFW｜机器学习系列
点击上方 蓝字 ，关注给你写干货的 松子茶

众所周知，机器学习可以分为两大流派，即频率派和贝叶斯派，其中：

频率派（统计学习），根据具体问题有下面的算法(俗称"四化")：

• 正则化，如:在线性回归中L1（ℓ1-norm），L2(ℓ2-norm），LASSO(The Least Absolute Shrinkage and Selection Operator) 和岭回归(Ridge Regression)等

• 核化，如: Kernal SVM(核支撑向量机)
  

• 集成化，如：AdaBoost，RandomForest

• 层次化，如：Neural Network(神经网络)，神经网络有各种不同的模型，有代表性的有：
  

• MLP(Multilayer perceptron,多层感知机)

• Autoencoder
  

• CNN/ConvNet(Convolutional Neural Network)
  

• RNN (Recurrent Neural Network)

  上述中，这几种模型(背景是灰色）在深度学习领域中，统称为Deep Nerual Network(深度神经网络)，这里"Deep"指是层次上的Deep或形式上的Deep 。

贝叶斯派（概率图模型PGM），根据图特点分为：

• 有向图——Bayesian Network(贝叶斯网络)。如果加入层次化后，有Deep Direct Netwrok(深度有向网络)，其典型深度有向网络包括

• Sigmoid Belief Network

• VAE（Variational Autoencoder）

• GAN (Generative Adversarial Network)
  

• 无向图——Markov Netwok(马尔可夫网络)，如果加入层次化后，有deep Boltzmann machines（深度玻尔兹曼机）。
  

• 有向图+无向图——混合，如果加入层次化后，有Deep Belief Network(深度信念网络)

  上述中，这几个加入层次化后(背景是灰色）的模型统称为Deep Generative Model(深度生成网络)。

从广义来说，深度学习包括Deep Generative Model(深度生成网络)和Deep Nerual Network(深度神经网络)。但现在我们解释深度学习时，更偏向于Deep Nerual Network。

参考主要书籍

• Ian Goodfellow，Yoshua Bengio and Aaron Courville, Deep Learning. The MIT Press 2016.

• Christopher M. Bishop, Pattern Recognition and Machine Learning. Springer 2006.
  

• 邱锡鹏. 神经网络与深度学习.机械工业出版社 2020年6月。
  

• 周志华. 机器学习. 清华大学出版社 2016年4月。

• 周志华等. 机器学习理论导引. 机械工业出版社2020年6月。
  

• 李航. 统计学习.  清华大学出版社2019年5月。
  

欢迎评论哦，纠错评论建议均可

-THE END-