Deeping Learning

Posted 2020-12-04 hugeng007

深度学习

The First	The second
MLP
CNN
RNN/LSTM

---

入门

MLP，CNN，RNN/LSTM

深入

###Crop 
*Crop
*Add noise
*Reverse
###各种模型结构
*LeNet
*AlexNet
*VGG
*GoogleNet(Inception v1-v4,Xception)
*ResNet
*Network-in-network
*SqueezeNet
*E-Net
*R-CNN系列
*Stack RNN/LSTM/GRU
*Seq2Seq
*CRNN
###各种trick
*Dropout
*Batch Normalization
*Local Response Normalization
*Attention
*正则化
###Operator
*Conv
*Pool
*RNN/LSTM
*Element-wise op
*Softmax
*CTC
###参数初始化
*xavier
*constant
*gaussian
*uniform
*bilinear
###激活函数
*Sigmoid
*Tanh
*RELU
*Leaky ReLU
*ELU
*Maxout
###损失函数
*Absolute loss
*Square loss
*Log loss
*Cross-Entroy loss
*Zeor-one loss
*Hinge loss
*Perceptron loss
*Exponential loss
*CTC loss
###优化方法
*SGD
*Monmentum
*Nesterov
*Adagrad
*Adadelta
*RMSprop
*Adam
*Adamax
*Nadam
###框架实现
*框架设计
*计算图与其优化
*数据并行与模型并行
*分布式
###理论与实际
*Zero-center
*梯度消失
*梯度爆炸
*如何调参
*Finetune
*增强学习
###应用
*OCR
*语音识别
*自然语言处理
*风格转移
*人脸定位&人脸识别
*手势识别
*物体追踪
*图像检测
*超分辨率重建
*去噪&去马赛克