什么是深度学习

Posted 2023-04-04

随着阿尔法狗、无人驾驶、智能翻译的横空出世，“人工智能”这个已经存在60多年的词语，仿佛一夜之间重新成为热词。同时被科技圈和企业界广泛提及的还有“机器学习”“深度学习”“神经网络”…… 但事实是，如此喧嚣热烈的气氛之下，大部分人对这一领域仍是一知半解。

如果要说谁有资格谈论目前正在进行的“人工智能革命”，特伦斯·谢诺夫斯基（Terry Sejnowski）必然是其中一个。

在智能翻译、无人驾驶、阿尔法狗、微软小冰还被认为是远在天边的愿景时，谢诺夫斯基就已经在为深度学习领域奠定基础了。

Professor Terry Sejnowski.

Image: Salk Institute

谢诺夫斯基是20世纪80年代挑战构建人工智能主流方法的一小撮研究人员之一。他们认为，受大脑生物学启发的、那些被称为“神经网络”“连接主义”和“并行分布处理”的AI实现方法，会最终解决困扰基于逻辑的AI研究的难题，从而提出了使用可以从数据中学习技能的数学模型。正是这一小群研究人员，证明了基于大脑式的计算的全新方法是可行的，从而为“深度学习”的发展奠定了基础。

借由《深度学习：智能时代的核心驱动力量》一书出版机会，美国科技媒体《The Verge》采访了特伦斯·谢诺夫斯基，与他讨论了“人工智能”“神经网络”“深度学习”“机器学习”究竟有何区别？为何“深度学习”突然变得无处不在，它能做什么？不能做什么？以下是采访全文：

《深度学习：智能时代的核心驱动力量》

中信出版集团 2019.2

Q：首先，我想问一下定义。人们几乎可以互换地使用“人工智能”，“神经网络”，“深度学习”和“机器学习”等词语。 但这些是不同的东西。你能解释一下吗？

人工智能可以追溯到1956年的美国，那时工程师们决定编写一个试图仿效智能的计算机程序。

在人工智能中，一个新领域成长起来，称为机器学习。不是编写一个按部就班的程序来做某事——这是人工智能中的传统方法——而是你收集了大量关于你试图理解的事物的数据。例如，设想您正在尝试识别对象，因此您可以收集大量它们的图像。然后，通过机器学习，这是一个可以剖析各种特征的自动化过程，就可以确定一个物体是汽车，而另一个是订书机。

机器学习是一个非常大的领域，其历史可以追溯到更久远的时期。最初，人们称之为“模式识别”。后来算法在数学上变得更加广泛和复杂。

在机器学习中有受大脑启发的神经网络，然后是深度学习。深度学习算法具有特定的体系结构，其中有许多层数据流经的网络。

基本上，深度学习是机器学习的一部分，机器学习是人工智能的一部分。

Q: 有什么“深度学习”能做而其他程序不能做的吗？

编写程序非常耗费人力。在过去，计算机是如此之慢，内存非常昂贵，以至于人们采用逻辑，也就是计算机的工作原理，来编写程序。他们通过基础机器语言来操纵信息。计算机太慢了，计算太贵了。

但现在，计算力越来越便宜，劳动力也越来越昂贵。而且计算力变得如此便宜，以至于慢慢地，让计算机学习会比让人类编写程序更有效。在那时，深度学习会开始解决以前没有人编写过程序的问题，比如在计算机视觉和翻译等领域。

机器学习是计算密集型的，但你只需编写一个程序，通过给它不同的数据集，你可以解决不同的问题。并且你不需要是领域专家。因此，对于存在大量数据的任何事物，都有对应的大量应用程序。

Q：“深度学习”现在似乎无处不在。 它是如何变得如此主导潮流？

我可以在历史上精确地找到这一特定时刻：2012年12月在NIPS会议（这是最大的AI会议）上。在那里，计算机科学家Geoff Hinton和他的两个研究生表明你可以使用一个名为ImageNet的非常大的数据集，包含10,000个类别和1000万个图像，并使用深度学习将分类错误减少20％。

通常，在该数据集上，错误在一年内减少不到1％。 在一年内，20年的研究被跨越了。

这真的打开了潮水的闸门。

Q：深度学习的灵感来自大脑。那么计算机科学和神经科学这些领域如何协同工作呢？

深度学习的灵感来自神经科学。最成功的深度学习网络是由Yann LeCun开发的卷积神经网络（CNN）。

如果你看一下CNN的架构，它不仅仅是很多单元，它们以一种基本上镜像大脑的方式连接起来。大脑中被研究的最好的一部分在视觉系统，在对视觉皮层的基础研究工作中，表明那里存在简单和复杂细胞。如果你看一下CNN架构，会发现有简单细胞和复杂细胞的等价物，这直接来自我们对视觉系统的理解。

Yann没有盲目地试图复制皮质。他尝试了许多不同的变种，但他最终收敛到的方式和那些自然收敛到的方式相同。这是一个重要的观察。自然与人工智能的趋同可以教给我们很多东西，而且还有更多的东西要去探索。

Q：我们对计算机科学的理解有多少取决于我们对大脑的理解程度？

我们现在的大部分AI都是基于我们对大脑在60年代的了解。 我们现在知道的更多，并且更多的知识被融入到架构中。

AlphaGo，这个击败围棋冠军的程序不仅包括皮质模型，还包括大脑的一部分被称为“基底神经节”的模型，这对于制定一系列决策来实现目标非常重要。 有一种称为时间差分的算法，由Richard Sutton在80年代开发，当与深度学习相结合时，能够进行人类以前从未见过的非常复杂的玩法。

当我们了解大脑的结构，并且当我们开始了解如何将它们集成到人工系统中时，它将提供越来越多的功能，超越我们现在所拥有的。

Q：人工智能也会影响神经科学吗？

它们是并行的工作。创新神经技术已经取得了巨大的进步，从一次记录一个神经元到同时记录数千个神经元，并且同时涉及大脑的许多部分，这完全开辟了一个全新的世界。

我说人工智能与人类智能之间存在着一种趋同。随着我们越来越多地了解大脑如何工作，这些认识将反映到AI中。 但与此同时，他们实际上创造了一整套学习理论，可用于理解大脑，让我们分析成千上万的神经元以及他们的活动是如何产生的。 所以神经科学和人工智能之间存在这种反馈循环，我认为这更令人兴奋和重要。

Q：你的书讨论了许多不同的深度学习应用，从自动驾驶汽车到金融交易。你觉得哪个特定领域最有趣？

我完全被震撼到的一个应用是生成对抗网络，或称GANS。使用传统的神经网络，你给出一个输入，你得到一个输出。 GAN能够在没有输入的情况下开展活动 - 产生输出。

是的，我在这些网络创建假视频的故事背景下听说过这个。他们真的会产生看似真实的新事物，对吧？

从某种意义上说，它们会产生内部活动。事实证明这是大脑运作的方式。你可以看某处并看到一些东西，然后你可以闭上眼睛，你可以开始想象出那里没有的东西。你有一个视觉想象，当周围安静时，你闹钟声会浮现想法。那是因为你的大脑是生成性的。现在，这种新型网络可以生成从未存在过的新模式。所以你可以给它，例如，数百张汽车图像，它会创建一个内部结构，可以生成从未存在的汽车的新图像，并且它们看起来完全像汽车。

Q：另一方面，您认为哪些想法可能是过度炒作？

没有人可以预测或想象这种新技术的引入会对未来的事物组织方式产生什么影响。当然这其中有炒作。我们还没有解决真正困难的问题。我们还没有通用智能，就有人说机器人将不久后会取代我们，其实机器人远远落后于人工智能，因为复制身体被发现比复制大脑更复杂。

让我们看一下这一种技术进步：激光。它是在大约50年前发明的，当时占据了整个房间。从占据整个房间到我现在演讲时使用的激光笔需要50年的技术商业化。它必须被推进到体积足够小并可以用五美元购买它的程度。同样的事情将发生在像自动驾驶汽车这样的被炒作的技术上。它并不被期望在明年或者未来10年，就变得无处不在。这过程可能需要花费50年，但重点是，在此过程中会有逐步推进，使它越来越灵活，更安全，更兼容我们组织运输网络的方式。炒作的错误在于人们的时标设定错了。他们期待太多事情太快发生，其实事物只在适当的时候。

关于深度学习的问题可以看下这个网页的视频讲解：AI深度学习---中科院公开课。

参考技术A 深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)，他是人工神经网络的研究的概念。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。 参考技术B 深度学习，按个人的理解主要就是多层神经网络。而多层神经网络目前效果比较好的是卷积神经网络，目前在图像和音频信号上效果比较好，而在自然语言处理上效果没有显示出来。

深度学习从统计学的角度来说,就是在预测数据的分布，从数据中学得一个模型然后再通过这个模型去预测新的数据，这一点就要求测试数据和训练数据必须是同分布。

深度学习，它是在一定的学习量的积累基础之上的质的飞越，就是学习能力的质变和新实现。度学习的前提在于大数据技术的成熟和支撑。同时，深度学习是一种经验的连接和运用。它是人类的经验和智慧在机器中的再生和活化。本回答被提问者采纳 参考技术C

简单来说，机器学习是实现人工智能的方法，深度学习是实现机器学习的技术。机器学习在实现人工智能时中需要人工辅助（半自动），而深度学习使该过程完全自动化

三者关系：

 

举个例子：通过机器学习算法来识别水果是橘子还是苹果，需要人工输入水果的特征数据，生成一定的算法模型，进而可以准确预测具有这些特征的水果的类型，而深度学习则能自动的去发现特征进而判断。

参考技术D 深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

什么是深度学习？深度学习能用来做什么？

深度学习是基于机器学习延伸出来的一个新的领域，由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展，并伴随大数据和计算能力的提高而产生的一系列新的算法。
在深度学习中，计算机模型学习直接从图像、文本或声音中执行分类任务。深度学习模式可以达到新的精确度，有时甚至超过人类的表现。大多数深度学习方法使用神经网络的架构，这也是深度学习模型通常被称为深度神经网络的原因。 参考技术A 深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。至今已有数种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络和递归神经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。 参考技术B 深度学习就是完全沉浸进去。还有就是能够读到书本里面更深刻的意思。而不是浮于表面。学习之后有属于自己的思考。 参考技术C 深度学习应该就是沉浸入学习，能够仔细的钻研学习中的问题吧。
深入学习能让你更加的了解知识，能让你更加的了解问题原因。