Deep Learning 简介

Posted 2020-11-04 Skye_Zhao

机器学习算法概述参见：https://zhuanlan.zhihu.com/p/25327755

深度学习可以简单理解为NN的发展，二三十年前，NN曾经是ML领域非常火热的一个方向，后来慢慢淡出，原因主要有：

• 容易过拟合，参数比较难调，并且需要不少trick（经验）。
• 训练速度满，在层次比较少（≤3）的情况下效果并不比其他方法更优。

神经元如下图：

         

ANN如下图：

 深度神经网络的特点：hidden layers逐渐增大，“深度”。

 

深度学习应用：

    

 

 CNN在图像领域应用非常广泛，并且性能很好。也有人用在 language model 或者 NLP 中，但是效果不是最优。