人工智能概述：深度学习是什么

Posted 2023-06-08 `三一三`

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了人工智能概述：深度学习是什么相关的知识，希望对你有一定的参考价值。

这一切要从人工神经网络（Artificial Neural Network，即ANN）说起...

ANN

生物神经元图示：图片来源

人工神经元是 ANN的基础，一般模型（还有非一般的演化中的？）如下：图片来源

由于神经元具备信息处理（计算）和传递（通信）的功能，于是，将多个神经元组合起来构成人工神经（元）网络（ANN）。

参考资料#2 对人工神经网络的演化做了很好的介绍。

一个简单的ANN如下：图片来源

根据百度百科：人工神经网络介绍说，神经网络模型有40种，现在一定更多了。

人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。

目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。

最初的ANN 是很简单的，功能很弱——智能不足，在先行者（科学家等）的持续努力和其它技术进步（也由先行者推动）下，各种复杂的人工神经网络被创造出来，AI研究也进入了深度学习时代。

深度学习（Deep Learning）

深度学习是一种机器学习技术，其基础是神经网络。

深度学习使用深度神经网络（Deep Neural Network，DNN）来进行机器学习。

根据参考资料#5 的介绍，DNN 也叫多层感知机（Multi-Layer perceptron，MLP）——多在有很多隐藏层，资料介绍了从感知机到 DNN 的演变。

下图来自参考资料#5：

提出时间：2006年

提出人：Geoffrey Hinton、Yoshua Bengio、Yann LeCun 等

百度百科：深度学习

自从2006年，Hinton 等提出快速计算受限玻耳兹曼机（RBM）网络权值及偏差的 CD-K算法以后，RBM就成了增加神经网络深度的有力工具，导致后面使用广泛的 DBN 等深度网络的出现。

与此同时，稀疏编码等由于能自动从数据中提取特征也被应用于深度学习中。

基于局部数据区域的卷积神经网络（CNN）方法近年来也被大量研究。

神经网络和深度学习的关系：隐藏层多少

下面是知乎网页土豆司斯基的回答：

深度学习的基础虽然是神经网络模型，但是，也不全是。下面是知乎网友 Fain 的回答截图：

在参考资料#8 中，知乎网友春天不是读书天还提到了以下概念，刷新了自己对深度学习等的认知：

深度学习的强大是有数学原理支撑的，这个原理叫做“万能近似定理”（Universal approximation theorem）。

这个定理的道理很简单 —— 神经网络可以拟合任何函数，不管这个函数的表达是多么的复杂。

深度学习是一个黑箱。

深度学习的一般方法

在参考资料#7 中，知乎网友 TechArtisan6 画图介绍了这个一般方法：

使用原始数据 + （深度）神经网络进行训练，得到 Model；再使用 Model 预测新数据。

上图中，是一个分类问题。

神经网络（NN）汇总

多年来，深度学习蓬勃发展，各种NN层出不穷，用于解决各种应用方面的问题。

本文通过阅读先行者的博文，对部分重要的神经网络做一个简单的整理。

不少博文会有不同的名词，比如，深度学习算法、深度学习模型、深度学习框架等，本文选择神经网络这个名词来进行汇总——NN 是一种算法，但主要是一种实现算法的网络；而模型是经过 NN 训练后得到的。

参考资料#9 是 2016年 ASIMOV Institute 对 NN 做的一个整理——包括名称、基本结构，看着挺好看的。

循环神经网络（Recurrent Neural Network，RNN）

监督学习。

由其演化而来的NN，比如：

长短期记忆网络（Long Short-term Memory Network，LSTM）

双向RNN

GRU

...

注意和递归神经网络(Recursive Neural Networks) 区分。

参考资料#11 的一个图片：

卷积神经网络（Convolutional Neural Network，CNN）

监督学习。

由其演化而来的NN，比如：

LeNet

GoogLeNet

ResNet

YOLO

……

参考资料#11 的一个图片：

深度信念网络（Deep Belief Network，DBN）

无监督学习。

也翻译为 “深度置信网络”。

参考资料#11 介绍：

DBN 是祖师爷 Hinton在06年提出的，主要有两个部分:

1. 堆叠的受限玻尔兹曼机(Stacked RBM)

2. 一层普通的前馈网络。

生成对抗网络（Generative Adversarial Network，GAN）

无监督学习。

参考资料#11 介绍：

简单的说，GAN训练两个网络：

1. 生成网络用于生成图片使其与训练数据相似

2. 判别式网络用于判断生成网络中得到的图片是否是真的是训练数据还是伪装的数据。

Attention（Transformer）

Google 在 2017年发布了一篇论文：

Attention Is All You Need

https://arxiv.org/abs/1706.03762

基于此（Transformer），Google 开发了 Bert，OpenAI 开发了 GPT。

知乎：Transformer模型详解（图解最完整版）

https://zhuanlan.zhihu.com/p/338817680

具体请看原文。

深度强化学习（Deep Reinforcement Learning）

强化学习是机器学习中的一个分支。

强化学习可以使用深度学习，也可以不使用。

代表算法：

DQN(Deep Q-learning)算法

...

知乎：DeepRL系列(7): DQN(Deep Q-learning)算法原理与实现

https://zhuanlan.zhihu.com/p/97856004

发布于 2019-12-17 17:34

其中的介绍：

Q_Learning算法是Watkins于1989年提出的一种无模型的强化学习技术。

Deep Q Network（DQN, 而这正是由 DeepMind 于 2013年和2015年分别提出的两篇论文《Playing Atari with Deep Reinforcement Learning》《Human-level Control through Deep Reinforcement Learning：Nature杂志》

反思小结

深度学习的发展实在是太快了，各种新的神经网络持续爆发，以一己之力实在是太难追赶。

自己尚未入门（没有训练过模型、没有参加过大赛等），对深度学习的基础知识知晓很少，看来，需要投入更多精时，再配合正确的方法前进才是的。

怎么会有这么多 NN 被创造出来呢？基于什么样的需求？还是，各种大赛的刺激？

大赛有哪些？老是听到 ImageNet、Kaggle、阿里云的天池大赛……啥时候也去参加下嘛！

别好高骛远了。

先打基础——那么多东西没搞清楚呢，再徐图大业。

---END---

特别说明，

1）本文引用了很多博文链接，如有侵权，请通知；

2）作者水平非常有限，如有错漏，非常欢迎不吝指正。

本文链接：

https://www.cnblogs.com/luo630/p/17459500.html

参考资料

1、百度百科：人工神经网络、深度学习

2、知乎：一、什么是人工神经网络(ANN)
by 刘冬煜

https://zhuanlan.zhihu.com/p/43285366

编辑于 2019-07-17 08:43

3、知乎：什么是人工神经网络（ANN）?
by CDA数据分析师

https://zhuanlan.zhihu.com/p/111288383

编辑于 2020-03-06 13:22

4、知乎：十大值得关注的深度学习算法
by 森屿麋鹿

https://zhuanlan.zhihu.com/p/420585982

发布于 2021-10-12 14:46

5、知乎：深度神经网络(DNN)
漫漫成长
https://zhuanlan.zhihu.com/p/29815081

编辑于 2017-10-12 12:27

6、知乎：【神经网络】综合篇——人工神经网络、卷积神经网络、循环神经网络、生成对抗网络
by 程序媛七七

https://zhuanlan.zhihu.com/p/485638227

发布于 2022-03-23 14:01

7、深度学习(1): 深度学习简介
by TechArtisan6

https://zhuanlan.zhihu.com/p/150646196

发布于 2020-06-25 11:01

8、知乎：[深度学习]什么是深度学习
by 春天不是读书天

https://zhuanlan.zhihu.com/p/72415675

发布于 2019-07-05 22:51

9、神经网络图 2016年
https://oscimg.oschina.net/oscnet/59f119daafd55fdf1f5af2c9e36d30965e7.jpg

CSDN博文：27种深度学习的主流神经网络

https://blog.csdn.net/rogerchen1983/article/details/90271547

10、【深度学习】Deep Learning必备之必背十大网络结构
by Taily老段

https://blog.csdn.net/Taily_Duan/article/details/82871593

于 2018-09-27 18:48:07 发布

11、知乎：主流的深度学习模型有哪些？

by 微调

https://zhuanlan.zhihu.com/p/29769502
编辑于 2017-09-29 09:30

12、主流的25个深度学习模型
by 昂刺鱼人工智能
于 2019-08-19 15:50:22 发布
原文链接：https://blog.csdn.net/angciyu/article/details/99729871

13、

ben发布于博客园

机器学习基础教程笔记---机器学习概述

机器学习概述

了解机器学习定义以及应用场景
说明机器学习算法监督学习与无监督学习的区别
说明监督学习中的分类、回归特点
说明机器学习算法目标值的两种数据类型
说明机器学习(数据挖掘)的开发流程

1.1 人工智能概述

1.1.1 机器学习与人工智能、深度学习

机器学习和人工智能，深度学习的关系
- 机器学习是人工智能的一个实现途径
- 深度学习是机器学习的一个方法发展而来

当前重要的是掌握一些机器学习算法等技巧，从某个业务领域切入解决问题。

达特茅斯会议-人工智能的起点

1956年8月，在美国汉诺斯小镇宁静的达特茅斯学院中，

约翰·麦卡锡（John McCarthy）

马文·闵斯基（Marvin Minsky，人工智能与认知学专家）

克劳德·香农（Claude Shannon，信息论的创始人）

艾伦·纽厄尔（Allen Newell，计算机科学家）

赫伯特·西蒙（Herbert Simon，诺贝尔经济学奖得主）等科学家正聚在一起，讨论着一个完全不食人间烟火的主题：

用机器来模仿人类学习以及其他方面的智能。

会议足足开了两个月的时间，虽然大家没有达成普遍的共识，但是却为会议讨论的内容起了一个名字：

人工智能

因此，1956年也就成为了人工智能元年。
1.1.2 机器学习、深度学习能做些什么

机器学习的应用场景非常多，可以说渗透到了各个行业领域当中。医疗、航空、教育、物流、电商等等领域的各种场景。
用在挖掘、预测领域：
- 应用场景：店铺销量预测、量化投资、广告推荐、企业客户分类、SQL语句安全检测分类…
用在图像领域：
- 应用场景：街道交通标志检测、人脸识别等等
用在自然语言处理领域：
- 应用场景：文本分类、情感分析、自动聊天、文本检测等等
当前重要的是掌握一些机器学习算法等技巧，从某个业务领域切入解决问题。
1.1.3 人工智能阶段课程安排

1.2 什么是机器学习

1.2.1 定义

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。

1.2.2 解释

我们人从大量的日常经验中归纳规律，当面临新的问题的时候，就可以利用以往总结的规律去分析现实状况，采取最佳策略。

从数据（大量的猫和狗的图片）中自动分析获得模型（辨别猫和狗的规律），从而使机器拥有识别猫和狗的能力。

从数据（房屋的各种信息）中自动分析获得模型（判断房屋价格的规律），从而使机器拥有预测房屋价格的能力。

从历史数据当中获得规律？这些历史数据是怎么的格式？

1.2.3 数据集构成

结构：特征值+目标值

1.3 机器学习算法分类

学习目标

目标
- 说明机器学习算法监督学习与无监督学习的区别
- 说明监督学习中的分类、回归特点
应用
- 无

分析1.2中的例子：

特征值：猫/狗的图片；目标值：猫/狗-类别

分类问题

特征值：房屋的各个属性信息；目标值：房屋价格-连续型数据

回归问题

特征值：人物的各个属性信息；目标值：无
- 无监督学习

1.3.1 总结

1.3.2 练习

说一下它们具体问题类别：

1、预测明天的气温是多少度？

2、预测明天是阴、晴还是雨？

3、人脸年龄预测？

4、人脸识别？

1.3.3 机器学习算法分类

监督学习(supervised learning)（预测）
- 定义：输入数据是由输入特征值和目标值所组成。函数的输出可以是一个连续的值(称为回归），或是输出是有限个离散值（称作分类）。
- 分类 k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络
- 回归线性回归、岭回归
无监督学习(unsupervised learning)
- 定义：输入数据是由输入特征值所组成。
- 聚类 k-means