《深度学习》李宏毅 -- task7总结

Posted 2021-09-13 GoAl的博客

总结：

进一步学习机器学习基础，希望以后有机会多多实践，为以后进入这个领域做准备。

学习内容：

01-机器学习介绍
介绍机器学习的概念，监督学习，无监督学习，迁移学习，强化学习等概念

02-回归
介绍回归的概念，应用，线性回归，利用损失函数进行模型评估，使用梯度下降法拟合模型

03-误差和梯度下降
介绍偏差与方差，欠拟合与过拟合，交叉验证方法，梯度下降优化（学习率调节，随机梯度下降法，特征缩放等）

04-深度学习反向传播机制
介绍神经网络的构建，模型的评估，优化函数选择，梯度下降反向传播机制

05-网络设计技巧
介绍局部最小值与鞍点、批次与动量、自动调整学习率等
06-卷积神经网络
介绍CNN的特点，作用，与全连接的关系，卷积、池化的操作，CNN应用的场景

1. 初识机器学习

机器学习是让机器有自己学习的能力，是通过人类编写程序去实现这种能力的。
机器学习的技术多种多样，主要分为监督学习（分类、回归）、半监督学习、迁移学习、无监督学习和强化学习。

2 回归

当机器学习找到的一个功能时，它输出的结果是一个标量，称为回归。

3 误差和梯度下降

3.1 误差

误差为什么会产生，是由于方差和偏差的不同而导致的。

3.2 梯度下降

梯度下降底的直观解释如下：比如我们在一座大山上的某处位置，由于我们不知道怎么下山，于是决定走一步算一步，也就是在每走到一个位置的时候，求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去，一直走到觉得我们已经到了山脚。当然这样走下去，有可能我们不能走到山脚，而是到了某一个局部的山峰低处。

• 可以通过调整学习率得到不同的值。

4 深度学习介绍

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

5 网络设计的优化

批次和动量

• 批次是对某对象进行批量的处理，可以减少运算时间。
• 动量具有一定的惯性，让其沿着原有惯性的方向前行，从而不会被最低点卡住。

自动调整学习率

• 每一个时刻的学习率不应该都相同的，需要特制化。

6 卷积神经网络

参考：https://blog.csdn.net/LucyLuo2020/article/details/119082853