探寻从小白成长为深度学习大佬的过程，一些超级干货分享
Posted 羽峰码字
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了探寻从小白成长为深度学习大佬的过程，一些超级干货分享相关的知识，希望对你有一定的参考价值。
大家好，我是羽峰，今天要和大家分享的是自己总结的深度学习四步曲，自我总结，难免有错，欢迎指正。
还是老话，我是羽峰，希望我所分享的文章能为您及更多的朋友带来帮助。欢迎转发或转载呀！
目录
前言
深度学习作为现在最热门的领域之一，不管是找工作还是科研，只要能和深度学习扯上点关系的，都慢慢因为深度学习火热起来而相应的火了起来。所以入门深度学习的朋友也越来越多。
当然想要学也是可以的，学习深度学习贵在坚持，因为其中涉及到的知识还是挺多的，不是一下子就能学会的。很多人都是入门到放弃，如果想要学好，就一定要坚持哦！
下面是我总结的深度学习四步曲，当然第四步是我们很多人难以企及的，做到前三步就已经很好了。
自我总结，如有不对或者欠缺的地方，还望勿喷，也欢迎大佬们多多指教。
第一步：入门
数学基础：
线性代数，概率论，数值计算等三门主要的数学你是否都学习过。
比如线性代数中的矩阵和向量计算，范数，特征分解，奇异值分解，行列式计算等等。
比如概率论中的概率分布，边缘概率，条件概率，各种概率分布，期望，方差，协方差，最大似然估计，贝叶斯等等。
比如数值计算中的梯度优化方法，约束优化，最小二乘等等。
机器学习基础：
一些机器学习中的基本概念你是否了解：比如过拟合，欠拟合，有监督学习以及相应的支持向量机等一些常见算法，无监督学习以及相应的主成分分析，聚类等一些常见的算法。树模型，随机梯度下降等等。
深度学习基础：
1、神经元(Neuron)
2、权重(Weights)
3、偏差(Bias)
4、激活函数(Activation Function)
5、神经网络(Neural Network)
6、输入/输出/隐藏层(Input / Output / Hidden Layer)
7、MLP(多层感知器)
8、正向传播(Forward Propagation)
9、成本函数(Cost Function)
10、梯度下降(Gradient Descent)
11、学习率(Learning Rate)
12、反向传播(Backpropagation)
13、批次(Batches)
14、周期(Epochs)
15、丢弃(Dropout)
16、批量归一化(Batch Normalization)
17、滤波器(Filters)
18、卷积神经网络(CNN)
19、池化(Pooling)
20、填充(Padding)
21、数据增强(Data Augmentation)
22、循环神经元(Recurrent Neuron)
23、循环神经网络(RNN)
24、消失梯度问题(Vanishing Gradient Problem)
25、激增梯度问题(Exploding Gradient Problem)
26、人工神经网络
27、 BP神经网络
28、L1，L2正则化等一些正则化优化方法，
29、基本的随机梯度下降，动量，Adam的一些优化方法，
等等一些基本概念及知识点。
入门资料
书籍：
《深度学习》by Ian Goodfellow, Yoshua Bengio, Aaron Courville
《机器学习》 by 周志华
《统计学习方法（第二版）》by 李航
《Python 深度学习》by Francois Chollet
《机器学习实战：基于Scikit-Learn和TensorFlow》by Aurélien Géron
《百页机器学习》 by Andriy Burkov
课程选择
吴恩达机器学习，深度学习课程（关注公众号：羽峰码字，回复“吴恩达”即可获取）：https://www.coursera.org/specializations/deep-learning
CMU: 深度学习：http://www.cs.cmu.edu/~rsalakhu/10707/
CMU: 深度学习入门：https://simons.berkeley.edu/talks/tutorial-deep-learning
斯坦福大学：深度学习理论（Stat385）：https://stats385.github.io/
斯坦福大学：基于深度学习的自然语言处理（CS224n）：
https://www.youtube.com/playlist?list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6
李飞飞：视觉识别中的卷积神经网络（cs231n）：
http://cs231n.stanford.edu/
李宏毅：深度学习（2017）：
链接 | https://www.bilibili.com/video/av9770302?from=search&seid=11128120516034980261
李沐：动手学深度学习-pytorch 2021版
链接 | https://www.bilibili.com/video/BV1Fb4y1D7Jt?p=1
网站推荐：
http://www.duozhishidai.com/
https://tensorflow.google.cn/tutorials/keras/classification
https://keras.io/examples
https://keras.io/zh/
https://www.deeplearningbook.org/
此阶段之后应具备的能力：
1. 能够处理小型数据集
2. 能搭建一个简单的网络并能训练一些手写数据集等一些小型数据集
3. 理解一些比如CNN，Resnet，VGG等一些常见的网络。
第二步：进阶
进阶一般就是找一个方向继续深入进去，你不可能一开始就将所有方向都整明白，所以选择一个方向深入下去是一个最明智的选择。
深入某一领域
目前深度学习主要有以下几个领域：
1. 计算机视觉
生物特征识别：人脸识别、步态识别、行人ReID、瞳孔识别；
图像处理：分类/分割、分类标注、以图搜图、场景分割、车辆车牌、OCR、AR；
视频分析：安防监控、智慧城市；
2. 自然语言处理
语音识别（Siri、Cortana、讯飞）、文本数据挖掘、文本翻译；
3. 数据挖掘
消费习惯、天气数据、推荐系统、知识库（专家系统）；
4. 游戏
角色仿真、AlphaGo（强化学习）；
5. 复合应用
无人驾驶、无人机、机器人；
上面选择一个方向入门就行，然后深入研究下去。
此时应该阅读一些专业领域的文献，文献网站推荐：
1. arXiv 检索论文
官方网址：https://arxiv.org/[1]
这上面会有相关开源代码地址，数据集等，复现论文是很有帮助的。
2. papers with code
官方网址：https://paperswithcode.com/[3]
有很多优秀数据集，有很多开源数据库，对科研有很好的帮助。
应该具备的能力
1. 大型数据处理能力
此时能够处理几GB的数据集，能够通过数据扩增方法和数据处理函数来完成数据的扩充，使得能够获取更多的数据集来训练自己的数据集。
2. 完成自己的项目
如果你是科研工作者，应该能够通过自己的任务需求，来应用某一个复杂的模型或者自定义网络，训练自己的数据集，并通过调参和优化来使模型达到最好的效果。
如果是非科研工作者，那应该找一个练手项目，或者参加一些比赛，来锻炼自己，依据具体任务来完成代码的开发，并通过调参和优化来使模型达到最好的效果。
3. 深度学习理论
此时你的深度学习不应该只知道基础，而是知道这个基础的原理，在调参或者加入某一功能函数时，应该知道这个功能函数的具体作用，以及实现此功能的原理。比如各种激活函数的优缺点，各种优化函数的原理，以及各种超参数的作用等等。
此时在回看书籍，或者回看视频时，则会有不一样的理解，从懵懂无知，到有了一些体会，能够依据相关教程来完成相关项目的实现，而不仅仅只是照着敲代码，为了一个错误代码而反复找了半天的bug。
第三步：专业
对自己研究领域有足够的认识，在脑海中应该能形成一篇综述的模型，比如yolov1是那年提出的,提出时具备怎样的影响，是为了解决什么而提出，YOLOv2有哪些改进，这些改进原理，以及解决了什么问题，等等这些都有一个清晰的了解。
并在自己研究方向上有一定的建树，比如在某一个模型基础上加入一个自己的方法，或者提出一个新的模型来解决现有某一方向上的痛点，来达到更好的结果。
当然这里不包含那种魔改哈，这种专业级别至少是在顶会上发过一篇以上文章的人吧。
我也还在第二阶段继续探索，并向第三阶段摸索，希望与看到本文的你一起努力，共同进步。
第四步：泰斗
这种级别就像吴恩达，李飞飞，周志华这些大佬了，当然我们到这个程度太难了。我们大部分人能达到专业水平就已经很不错了，至于泰斗级别，还是留给那些天才大佬们吧！
END
各位小伙伴好，我是羽峰，一个从双非梦想进大厂，最终如愿的一名非科班程序员。现在在某大厂从事算法工程师工作。
本硕期间致力于各种科研竞赛，从小白到全国冠军。读研期间去清华大学访学过，七篇发明专利，三篇科研文章，欢迎关注公众号：羽峰码字，查看我研究生三年的逆袭之旅。
以上是关于探寻从小白成长为深度学习大佬的过程，一些超级干货分享的主要内容，如果未能解决你的问题，请参考以下文章