深度学习的冬天什么时候到来？

Posted 2021-04-20 DeepTech深科技

从 2016 年 AlphaGo 战胜李世石掀起深度学习的热潮，到如今深度学习寒冬论甚嚣尘上，短短两三年时间，深度学习被唱衰，如今在产业互联网的高速发展下深度学习又该走向何方？未来的发展方向在何方？

图 | “深度学习”入选 2013 年《麻省理工科技评论》“十大突破性技术”

深度学习技术自身的局限性

深度学习毕竟是机器学习，不会像人一样思考，这就使得深度学习存在着很大的局限性。对于大多数任务而言，要么不存在相应的深度神经网络能够解决任务，要么即使存在这样的网络，它也可能是不可学习的。

通过堆叠更多的层并使用更多训练数据来扩展当前的深度学习技术，只能在表面一缓解一些问题，无法解决更根本的问题，比如深度学习模型可以表示的内容非常有限，比如大多数你想要学习的程序都不能被表示为数据流形的连续几何变换。

图 |  图形时间线展示了从 1990 到 2015 年几种主要深度学习架构

另外一点比较突出的问题在于深度学习的泛化能力不够，或者称之为只有局部泛化能力。而我们人类不会，我们通过将事务进行抽象和推理的手段，可以做到少样本或者零样本学习。对于我们人类而言，我们有着极端泛化能力。

比如说，我们想要学习让火箭登录月球的正确发射参数。

如果使用深度网络来完成这个任务，并用监督学习或强化学习来训练网络，那我们需要输入上千次、甚至上百万次发射实验。相比之下，我们人类可以利用抽象能力提出物理模型（火箭科学），并且只用一次或几次实验就能得到让火箭登录月球的精确解决方案。同样，如果你开发一个能够控制人体的深度网络，并且希望它学会在城市里安全行走，不会被汽车撞上，那么这个网络不得不在各种场景中死亡数千次，才能推断出汽车是危险的，并且做出适当的躲避行为。将这个网络放在一个新的城市，它将不得不重新学习已知的大部分知识。但人类不需要死亡就可以学会安全行为，这个也要归功于我们对假想情景进行抽象建模的能力。

看来，深度学习和真正意义上的智能有着极大差距。语音识别、智能翻译、图像识别、AlphaGo、自动驾驶….. 尽管人类在深度学习领域取得了不小的进步，但是距离人类级别的人工智能仍有着很大距离。

深度学习技术该走向何方？

深度学习带来了人工智能的第三次热潮，大量资本和人才纷纷涌入人工智能领域，关于人工智能的创业公司迅速增长。据最新发布的《中国新一代人工智能科技产业发展报告》统计，2018 年全球人工智能领域专利申请量达到 13 万余件，我国人工智能企业占世界人工智能企业总数的 21.67% ，排名世界第二。

技术不同于科学研究，迟早要寻求回报。人工智能风口下的初创公司，只有精耕产品需求，使解决方案更加的解决客户难题，才能发挥技术的价值。

另一项数据则显示我国 90% 的 AI 公司由于未找到商业变现的途径，处于亏损状态。但也有一些企业借创新的技术，过硬的实力，全链的产业落地模式，在产业互联网时代受到资本的宠溺，一跃成为行业独角兽，如第四范式、字节跳动、寒武纪科技、云从科技、驭势科技、旷视科技、商汤科技、图森未来、依图科技等高科技公司。

国内外各大科技巨头公司纷纷进军深度学习领域，无论是国外的谷歌、亚马逊、Facebook，还是国内的百度、阿里、腾讯等科技巨头公司纷纷开源了自己的深度学习框架。产业互联网时代，更多人工智能公司追求商业落地，将技术赋能场景。

我们如何克服深度学习的局限性并通向通用智能？众多科学家对此也进行了解答：

在未来，模型将会融合算法模块与几何模块，前者提供正式的推理、搜索和抽象能力，后者提供非正式的直觉和模式识别能力。——《Python 深度学习》

AlphaGo（这个系统需要大量的手动软件工程和人为设计决策）就是这种符合人工智能和几何人工智能融合的一个早期的例子。

此外，通过使用存储在可复用的子程序的全局库（这个库随着在数千个先前任务和数据集上学习高性能模型而不断进化）中的模块化部件，这种模型可以自动成长，而不需要人类工程师对其进行硬编码。随着元学习系统识别出经常出现的问题解决模式，这些模式将会被转化为可复用的子程序（正如软件工程中的函数和类），并被添加到全局库中。这样就可以实现抽象和极端泛化能力。

因此，这种永久学习的模型生长系统可以被看作是一种通用人工智能（AGI artificial general intelligence）。

为了达到这个目标，多年来，深度学习领域一直处于所谓的人工智能革命的最前沿。许多人相信深度学习将带领我们进入通用 AI 时代。但从过去的风口浪尖，到如今的尘埃落地，浪潮一再的退去。计算机视觉与 AI 专家 Filip Piekniewski 曾警示预测人工智能的冬天就像是猜测股市崩盘——不可能精确地知道发生的时间，但几乎可以肯定会在某个时刻发生，就像股市崩盘之前，有迹象表明会发生危机，但在当时的环境中，却很容易被大家忽视。

深度学习已经出现了明显的下降迹象。人工智能将何去何从？深度学习将会走向何方？

2019 年 10 月 19 日，中国计算机大会将就“深度学习的冬天什么时候到来”的话题开展论坛，由中科院计算所研究员山世光担任论坛主席。这场大会以“智能+引领社会发展”为主题，将邀请多位国内外计算机领域知名专家、企业家到会做特邀报告，同时还有 80+ 场技术论坛、20 场活动及展览展示等。

未来充满了不确定，但我们可以为这个冬天做好更多的准备。

论坛主席介绍

山世光：中科院计算所智能信息处理重点实验室常务副主任/研究员，计算所博士生导师，中科视拓创始人/董事长。

山世光研究员过去 20 年来一直从事以人脸识别和情感识别为代表的计算机视觉、模式识别和机器学习等学科领域的前沿基础研究和应用研究，做出了许多值得关注的学术贡献，如提出了若干以经验与数据联合驱动为指导思想的视觉特征提取和表示学习方法；在国际上较早开展了以黎曼流形为视频人脸表示的理论方法，引领同行从黎曼流形表示和测度学习的视角研究视频识别问题；以多视/域局部结构一致性为约束，寻求异质数据的公共表示，较好的解决了异质模式比对和跨域知识迁移问题。

今年的大会主题是“智能+引领社会发展”，现今无论在传统产业智能化转型升级过程中，还是新兴产业飞速发展进程中，乃至社会生产生活各方面，智能+无处不在，智能作为技术基础引领着社会发展，未来的社会将是智能化社会，将是与 AI 共舞的社会。

CNCC2019 展览展示将有科技巨头、行业独角兽、高校科研机构、初创企业等悉数参加，将为所有和计算领域相关的学术新进展、应用新技术、创意新理念提供展示平台，同时也为商业合作、投融资与创业洽谈提供高效交流平台。

2019 中国计算机大会等着您的到来！

战略合作媒体

 

点击阅读原文查看大会详情↓