深度学习——概论学习笔记

Posted 2020-10-28 记性不好，多记记吧

开始写一系列的学习笔记，基于吴恩达的《深度学习》课程，大致一周为一篇。第一节这个没什么内容

注：文章中的很多图片也是来自该课程的

课程链接：http://mooc.study.163.com/smartSpec/detail/1001319001.htm

目录

• 什么是神经网络
• ReLu修正线性单元
• 监督学习supervised learning
• 结构化/非结构化数据
• 为什么深度学习会兴起

一、什么是神经网络

神经网络：定义好输入和输出，喂给足够多的数据，神经网络就可以自己学习出两者的映射关系

例1：房屋价格预测

房屋大小（输入x）->函数（神经元）->房屋价格（输出y）

例2：房屋价格预测（多神经元）

输入		隐藏单元		输出
size	->	family	—>	price
bedrooms		walkability
zip code		school quality
wealth

给足够多的(x, y)样本，神经网络就会找到最好的映射方法

二、ReLu修正线性单元

函数的特点是开头一部分的取值为0（避免不可以小于0的情况）

三、 监督学习supervised learning

已知输入x和输出y(标签)，通过样本学习出一个映射函数

比如：自动驾驶、翻译、广告（是否能被点击）、房价估值、音频转换成文字、图像识别 

四、结构化数据：每个数据有确定的定义，数据库

非结构化数据：如音频、视频、图像、文字等

五、为什么神经网络/深度学习会兴起？

• 神经网络使得计算机可以更好地理解非结构化数据(图像、音视频等)，由此可以做出更多应用
• 传统的机器学习在数据增加的早期性能会增加(依赖于好的人工设计)，但后面就会趋于平缓，因为他们不能很好地处理海量数据。传统的机器学习有一个重点是特征工程，如果数据量很大，人工去从中提取“正确”的特征是很难的
• 随着数据量的增大，计算性能的提高，让计算机可以处理更多的数据，由此训练更大的神经网络，从而得到更好的性能
• 一些好的算法的提出也促进了神经网络的发展

(面试被问到了(*￣︶￣))