图灵奖为何颁给了深度学习？

Posted 2021-04-20 三联生活周刊

↑点击上方三联生活周刊加星标！

熬过神经网络黑暗时期的深度学习三巨头，终于抵达了他们的高光时刻—— 2019年3月27日，ACM（Association for ComputingMachinery, 计算机协会）宣布杰弗里·辛顿（Geoffrey Hinton）、杨立昆（Yann LeCun）和约书亚·本吉奥（YoshuaBengio) 成为2018年图灵奖得主。

图片来自amturing.acm.org

颁发图灵奖当天，ACM主席切莉·潘可（CherriM.Pancake）评价三位在人工智能领域的贡献时说道，“Hinton、LeCun和Bengio独立工作，共同开发了深度学习神经网络领域的概念基础，通过实验和实际工程证明了深度神经网络的优势。”

到底什么是“深度学习”？

▲▲▲

事实上，深度学习的定义就和人工智能一样，普通人嘴中常叨念，但其实没人说得清。若真要深究，可一窥2015年5月27日三巨头联合发表的论文，标题即为“Deep learning”（深度学习）。而本文使用的则是业内达成共识的，相对简化的版本：“深度学习是用神经网络的方法来解决机器学习问题。其中，神经网络是比喻。”钱步月如是告诉本刊，他常年在国际顶级的人工智能会议AAAI（Association for the Advancement of Artificial Intelligence，人工智能促进协会）的程序委员会担任评委，美国加州戴维斯大学计算机科学博士毕业后，他还加入了IBM Watson担任数据挖掘科学家。

ACM主席的颁奖词可从一个角度来简单理解，“这三位在深度学习领域的贡献，使得算法变得更准了。”

图 | 摄图网

这个“准”字，听上去轻巧，背后是辛顿等人自20世纪80年代以来持续不断的努力。

而此次得奖，“深度学习”的圈内人在祝贺的同时不忘借用OpenAI首席科学家伊尔亚‧苏茨克维（IlyaSutskever）的一句话，“我们本来在体制之外，力图证明传统路线是错的，然而有趣的是，转眼间我们成了正统。”

苏茨克维口中的传统，正是过去传统的计算模式，诸如计算机中的纸牌游戏等，是以人工编写的专家知识为基础，通过事先定义好的规则模板，和人工设计的算法等来指导机器执行。而在深度学习中，计算机则不会得到如何解决某个任务的具体说明，“计算机可以像人类一样思考，依靠直觉而不是规则。”这是辛顿一直以来坚守的观点，而他也是最早思考机器与人类关系的科学家之一。

电影《人工智能》剧照

多年来，深度神经网络一直受到业内人的怀疑与冷落，“主要原因是早期的神经网络模型复杂度较低，只有3-4层，不能处理大规模、多样化的数据，与其他传统算法相比没有优势。事情起了变化，近年来，并行计算和新的神经网络算法的进展，人们发现多层的神经网络在应对海量数据模式上体现出了惊人的优势。”搜狗智能问答副研究员于翮告诉本刊。

辛顿提倡使用机器学习的方法进行人工智能研究，是受到人脑的启发—— 有一次，辛顿的朋友向他描述全息图的工作原理，物体表面无数的反射光线被记录下来，被存入一个巨大的数据库里。他联想到大脑的工作原理，即海量的细胞由神经元图谱连接起来，信息在其间传递—— 由此及彼，辛顿希望通过人脑运作的方式探索机器学习系统。“人工神经网络”（Artificial Neural Network）的提出，正式为机器学习研究奠定了基础。

实际上，你我当下生活中所涉及的语音识别、自然语言处理等的底层技术理论都与他们仨有关。

举个例子，你也许能察觉到在线翻译工具的精准度有了巨幅的提升？这两年各类高端会议上也常见各种翻译产品以现场实操的手段证明自己“机器翻译”的能力—— 台上主讲嘉宾带着口音一刻不停地说，而旁边的巨幅投影翻译工具马不停蹄地逐句翻译。虽说偶尔会闹笑话，但更寻常的是，你会被其机器翻译能力所惊艳。

在2年前，你使用任何一种在线机器翻译，它的底层逻辑还基本围绕统计学特征和规模模板展开，就以规则模板为例，比如预先有一系列的模板包含着各类句式，机器看到句子，它先用各类模板去套用。一旦句子不够标准，不符合原先存有的模板，翻译质量就会随之下降。“如果是你我这样的自由对话，你就会发现翻译结果是不流利的。总的来说，这就是机器的’能力'比较差。”于翮告诉本刊。

《人工智能：一种现代的方法》这本AI圈内的圣经，在书的第一章中提到：人工智能有四个方向，1）和人一样思考；2）和人一样行动；3）理性地思考；4）理性地行动。于翮补充，“辛顿等人目前的研究方向，集中在第三类，也就是让机器可以理性地思考，他们希望知道’智能’到底是个什么东西，以及怎么把这种’理解’用机器来表达？但现阶段，他们的研究方向在一定程度借鉴了神经科学的一些成果，可以说，他们的研究内容也涉及到了第1项，也就是“和人一样思考”的内容。”

不管如何，辛顿等人的努力，已经可以使机器翻译的精确度，尤其在流畅度和语意还原上基本达到人类水平。以2017年WMT（Workshop on Machine Translation，国际顶级机器翻译比赛）官方公布的成绩为例：搜狗语音交互技术中心-机器翻译团队提交的中英和英中系统，获得了人工评价指标的双向第一名。

《人工智能：灭绝危机》剧照

辛顿的深度学习理论中，“反向传播”算法的应用范围最广。这个概念实际于1986年提出，直到数据量足够大，模型的训练能力也提升之后，这个算法的能力才展现出来。

同时，图灵奖得主之一本吉奥的研究在语言领域建树也颇丰。他利用语言的“离散向量化”来做语言模型，这也成为了神经网络在自然语言处理中的基础。本吉奥曾参与发表了一篇论文，《神经概率语言模型》（A Neural Probabilistic Language Model），把高维词嵌入(High-Dimentional Word Embeddings) 作为词义的表征。此文后来对NLP研究（如翻译、问答和视觉问答等任务）产生了深远影响。

钱步月细读过辛顿发表的“反向传播”算法的论文，他告诉本刊，“反向传播是训练深度学习模型能够计算自如的关键算法。对于现代神经网络，它可以使基于梯度下降的训练相对于传统的执行快一千万倍”。这也是为何机器翻译能够在短短两年的时间内得以突发猛进的发展，业内人士所用的比喻则是，“这是一个模型需要一个星期训练和花费20万年的区别”。

图 | 视觉中国

这当然也得益于硬件显卡的更新，并行计算能力的提高。此前，神经网络已经在“图像识别”领域取得巨大进步，其底层的理论逻辑则来源于辛顿的学生，此次图灵奖的得主之一杨立昆的CNN（Convolutional Neural Network，卷积神经网络），他将反向传播算法引入了CNN，并且发明了权值共享、池化等技巧，让CNN真正更为可用。卷积神经网络除了协助机器人和自动驾驶汽车的视觉，更主要的应用于识别人脸，物体和交通标志。

一如ACM主席颁奖词中提到的，“任何口袋里装着智能手机的人都可以体验到自然语言处理和计算机视觉方面的进步” 。

总而言之，反向传播技术是所有神经网络运行的基础，它的“好用”也直接使得神经网络在计算机圈内火了起来。“近年来，和机器学习相关的文章基本都在探讨深度学习，比例上至少超过五成。”钱步月经常为一些顶级的人工智能会议审稿—— 由于计算机领域日新月异，大家普遍将文章发在会议上，而不是审核周期过长的期刊。

每个人都是深度学习的参与者

▲▲▲

总的来说，辛顿等人的研究成就离不开天时地利人和，有模型也要有数据。有了足够的大数据，模型的效果才会如此之好；但如果模型建立不够好，数据再多也无用。

那么，数据哪里来？当然是你我创造的。最典型的一个例子便是“输入验证码”这一行为。深度学习圈内人曾笑称，“我们输验证码其实是在为人工智能打工”。

应用最广的验证码系统是 reCAPTCHA （Completely Automated Public Turing Test To Tell Computers and Humans Apart，区分人机的全自动图灵测试系统），这家公司后来被谷歌收购，并承担了世界上大部分网络的人机验证工作。

电影《人工智能》剧照

早期输入验证码的行为的确只是为了验证你是否为人类，但有一天，reCAPTCHA 的创始人之一，路易斯·冯·安（Luis von Ahn）突然想到：“如果人类与机器各有擅长，能不能利用验证码系统，让人类和机器共同解决问题呢？”

这个想法在执行过程中就是谷歌利用 reCAPTCHA 来帮助标注数据 —— 也就是最常见的，Google 街景中难以识别的门牌和路牌加入验证码，请用户帮忙标注。而这个用户，就是千千万万个你。

这就是真人为验证码打工的意思由来。在 reCAPTCHA 官网上，谷歌也公开说明了 reCAPTCHA 集众人之力标注数据、训练人工智能的“众包”模式。

在不远的未来，虚拟爱人和越来越高智化的人工智能将成为一部分人的爱情选择。（插图： Charlotte Fu）

而标注，正是深度学习的前提。你我实际上都参与到了深度学习数据量的累积，直至技术爆发的整个过程。

与此同时，这三位在神经网络领域的研究成果也直接促发深度学习在中国的爆炸式增长。“杨立昆去年来中国，看到中国公司研究深度学习的热情后，直接在推特上表示，中国人Overdo(做的过多）了。其实就是在暗示，我们的热情满是泡沫。”钱步月对此有些悲观，“目前深度学习的技术能达到的程度和人们的期待是完全不相符的。你拿一万张猫的图片训练一个机器，机器能迅速判断眼前的图片是否是猫。但你要让机器从一张多元素的图片里找到猫依然非常困难。”

当然了，未来永远都是难以预测的，但深度学习对于当下生活的改变，你我显然已经都感受到了。

图灵奖得主简介

Geoffrey E Hinton

谷歌副总裁兼工程研究员，Vector Institute 的首席科学顾问，多伦多大学的名誉大学教授。

他在神经网络的训练方面、计算机视觉领域做出过重大贡献。2012年，他改进了卷积神经网络，并在著名的ImageNet 评测中取得惊人成绩。

Yann LeCun

Facebook人工智能研究院负责人，纽约大学数据科学中心的创始人之一。

他将反向传播算法引入了CNN（卷积神经网络），并且发明了权值共享、池化等技巧，让CNN真正更为可用。他还在1998 年开发了LeNet5——首个被大规模商用的CNN，并制作了被Hinton称为“机器学习界的果蝇”的经典数据集MNIST。

Yoshua Bengio

蒙特利尔大学计算机科学与运筹学系全职教授，也是深度学习“三巨头”中唯一一位仍全身心在学术界工作的大牛。

他在深度学习架构、循环神经网络（RNN）、对抗算法、表征学习等方面有诸多科研积累，对近年来深度学习的崛起和发展起到了巨大的推动作用。

    大家都在看    

• 
  

点击图片，一键下单【再战股市】

▼ 点击阅读原文，今日生活市集，发现更多好物。