DeepMind爆发史:决定AI高峰的“游戏玩家”|深度学习崛起十年
Posted OneFlow深度学习框架
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DeepMind爆发史:决定AI高峰的“游戏玩家”|深度学习崛起十年相关的知识,希望对你有一定的参考价值。
翻译|刘晓祯、沈佳丽、胡燕君、许晨阳、周亚坤
很少有人会否认,过去十年,AI领域最耀眼的明星组织当属DeepMind,没有之一。
那个震动世界的高光时刻发生在2016年3月的一天,AI选手AlphaGo击败了世界围棋冠军李世石的那一刻,全世界更广泛的群体认识到了AI的威力,并成为将AI技术推向新一轮高峰的闪亮标志,也是受到这一刻的感召,科技界很多人涌入AI创业前线,由此掀起AI应用的高潮。这一战,也让AlphaGo的缔造者——DeepMind和它的掌门人Demis Hassabis——走到了舞台中央。
Demis Hassabis出生于20世纪70年代的伦敦北部。13岁时,他就已经在国际象棋比赛的中崭露头角,在同年龄组别里排名第二。16岁时,他设计出了风靡一时的“主题公园”游戏。本科时,他在剑桥大学修读计算机科学和数学,经历简短的创办电子游戏公司并将其卖掉之后,他又去了伦敦大学学院(UCL)的神经科学领域读博深造,随后通过策略性地“画大饼”,获得了一位美国亿万富翁的天使投资,最终,他与另外两位联合创始人Shane Legg和Mustafa Suleyman在2010年共同创立了DeepMind。
国际象棋、游戏、计算机科学、神经科学和AI,这些领域并不是毫无关联,它们最终构建了一张Demis梦寐以求的蓝图:通用人工智能(AGI)。
要想实现这一看似仅存于理念层面的目标绝非易事。在Demis看来,他首先是一名科学家,然后才是一名企业家,这是他实现目标的正确途径。当初,如果他能在学术界有机会实现AGI的目标,就会呆在那儿,但在学术界的限制下,这些不可能发生。实际上,需要大量烧钱的研究型企业DeepMind也无法独善其身。在运作近四年后,2014年,Demis将DeepMind卖给了Google,背靠金主,他就能加快完成科学发展的使命。
事实证明,美国亿万富翁和Google的眼光不错。在迈向AGI的路上,DeepMind先声夺人,从AlphaGo开始,接连推出AlphaZero、AlphaFold、AlphaCode这些AI领域的扛鼎之作,并且将技术成果都发表在《Nature》和《Science》等顶级期刊上。用常规学术标准衡量,他们已经用科研成果证明了自己的实力,这些顶级论文在过去几年里的被引次数都排名世界前列,而且他们的想法得到了业内广泛关注和追捧。
公开论文无疑会给DeepMind引入更多竞争者,但在Demis看来,如果所有人都能公开分享自己的想法,整个行业的发展速度会比闭门造车快得多。最重要的是,比别人保持更快的创新节奏,在公开一个创新想法后,还要有一两个可以延伸的创新想法。“面对竞争对手,保持创新节奏就是最好的自我保护。”持续输出重磅原创性技术,让DeepMind在AI领域成为家喻户晓的灯塔式的存在。
Demis本人虽然身处幕后,但从一个游戏玩家成为AI领域的革新者,他的成就令人望尘莫及。他善于讲故事,为人亲和,但在平实的话语中会让你感受到这是一个雄心勃勃的人。
在中文社区,关于DeepMind和Demis Hassabis背后的伟大的创业故事零碎不全。这次,OneFlow社区整理编辑了Demis Hassabis的最新公开演讲和官方播客,以他个人的第一视角自述DeepMind的过去、现在和未来,完备地呈现了那些大胆的组合式创新想法、远大的个人野心,冒险的勇气、必胜的信心以及即便失败也支持创新探索的环境。通过他的讲述,由此我们可以正视中国在AI创新创业领域的真正差距。
1
“当时就决定把职业生涯献给AI”
众所周知,人工智能是一门让机器智能化、变聪明的科学。我的AI之旅始于游戏,它在我的生活中一直是个很重要的角色,现在,游戏作为DeepMind研究项目的一部分,仍然很重要。
4岁时,我就开始下棋,并且一直非常认真地担任英格兰少年象棋队的队长。那时,我的梦想是成为国际象棋的世界冠军。如果你想提高国际象棋水平,该怎么做?看相关书籍,研究大师级的比赛,这实际上是提升下棋时的思维过程,在努力改进决策。
我的很多思维方式都是通过国际象棋发展的,比如计划、解决问题的思维等能力。无论将来从事什么职业,这些能力都很实用。
我小的时候非常喜欢反思。对于一个经常反思的孩子,这时的我实际上已经开始反思“思考”这件事本身了,思考大脑如何冒出这些想法和计划,如何决定走哪步棋以及这背后的过程到底是怎样的?我着迷于人脑的思维和智力。
八九岁的时候,我用国际象棋比赛的奖金买了第一台电脑,那台电脑的名字叫做ZX Spectrum,在80年代中期的英国非常流行。也是在这时,我踏入了编程大门,买了一些编程书籍,开始编小游戏,修改一些小游戏代码。
很快,我就爱上了电脑和编程,并意识到电脑的神奇之处。作为人类,我们本身就像是制造机器或工具的猴子,但计算机作为一种通用机器有其特殊之处。
大多数机器只是扩展了我们的身体能力,比如,汽车让人类的速度跑得更快,飞机让人类可以在空中飞行,但电脑却是人脑思维的延伸,能做的事情也更多。
我是在开始编写人工智能程序、使用计算机进行科学计算时,才意识到这一点。直到现在,我还觉得这很神奇,因为利用电脑加一个晚上的时间就把问题解决掉,期间还可以直接去休息让电脑自己工作。
我喜欢电脑和游戏,自然而然,就开始写一些商业的视频游戏。90年代中期,17岁的我写的最有名游戏应该是“主题公园(Theme Park)”。基本上,我在游戏生涯中写的所有游戏都是基于人工智能的,这个游戏也是如此。
“主题公园”的玩法是构建玩家自己的迪士尼乐园。游戏开始时,你会拿到一块空地和一些启动资金,然后就可以开始布局、建造主题公园。完成之后,如果对自己的设计很满意,可以开放主题公园,吸引成千上万的小人儿买票进入。这些小人儿会基于内置的AI系统来判断你的主题公园是否设计得够好。如果他们玩得很开心,你还可以向他们卖汉堡、可乐和商店里的气球,这背后其实有个经济模型。
某种程度上,其实是进入主题公园的小人儿背后的AI系统在评判你的主题公园设计的好不好,这就形成了一个反馈闭环,由此你可以赚更多钱,建更多好玩的游乐设施,让主题公园越来越好。
“主题公园”在全球售出了近400万份。那时, 另一个比较有名的管理模拟类游戏叫“模拟城市(Sim City)”。AI系统会根据你玩游戏的方式做出相应的调整,从而带给你独特的游戏体验。这样你的游戏和别人不同,游戏体验也是独一无二的。
从游戏中,我学到的一点是要充分利用手中的每一笔资产。游戏里的资源是有限的,游戏的思维方式就是最大限度地利用剩余资产,在国际象棋里,资源就是棋盘上的棋子。也许这就是为什么我倾向于利用游戏来解决问题,我确实认为,利用游戏来开发AI是一种合理的方式。
写《主题公园》这个游戏时,我对AI已经很感兴趣。这个游戏中AI的反应现在来看相对简单,但在90年代中期,它却是复杂的。这让我意识到AI在游戏娱乐方面可以很强大,它也是一种神奇到难以置信的强大工具。当时,我就决定要把全部职业生涯都献给人工智能。
后来,我在剑桥大学读大学,系统学习了计算机科学和数学。之后我创办了第一家游戏公司(注:电子游戏公司Elixir,为包括微软在内的全球发行商创造游戏),并卖掉了它回到伦敦大学学院(UCL)学习神经科学。
我们已经了解了逻辑系统、计算机科学中的有限状态机、种种规则和启发法,旧式的人工智能已经用过所有技术。但我觉得少了些什么,大脑会表现出学习、记忆和灵活性的想法,而计算机和人工智能系统通常不会有。我试图去了解大脑工作的记忆和想象力两个方面,但我们还不知道这跟AI系统有什么关系。
因此,我想在读博期间正式研究大脑的思维,看看能否从大脑的工作方式、实现灵感的方式以及新类型算法、新类型架构或表征中获得一些启发。那些我们不知道如何在AI里开发的功能,或许可以参考大脑运转来实现。
我对大脑的了解比较少,但UCL的同事Eleanor Maguire是研究海马体的世界顶尖专家,她发现,大脑中心有个叫做海马体的区域,相对较小,但非常重要。海马体在将近100年前就为人所知,如果它受到损伤,人就会失忆,像阿尔茨海默氏症这样的疾病,就是海马体受损导致的。
但我告诉她,我真正想研究的是想象力,它是人类智能中极其重要的一部分。我在设计游戏时就经常会想象,把游戏过程可视化,去想象一个玩家是如何玩“主题公园”这类游戏,然后再去调整一些细节,这是在脑海中或者草图上实现的,最后才会去写程序。你可以把它理解为,人在脑海中模拟未来可能发生的事情,这对计划能力和创造力起到很大的作用。
这就像我们能够清楚地记得自己身上发生的事一样,想象的过程是很相似的。所以,我认为记忆和想象之间应该有一种联系,好像大脑的一个仿真引擎同时用在两者身上。
我曾假设,回忆过去是一个重建的过程。记忆不是录像带记录发生过的事情,而是重组信息的过程。这就是为什么记忆有时很容易出错,我们会记住一些没发生过的事情。如果记忆就是这样形成的,那么大脑中的同样的机制对想象力也很重要,我们可以把想象力视为构造的过程。如果你认为记忆是一种对过去熟悉场景的重组,那你可以把想象力看做成从过去场景中构建新的想法或想象,但是以一种新的方式组合在一起。在我看来,构造想象力的过程与记忆重组有很多共同之处。
在海马体受损的病人身上,我们验证了这个假设。通过测试了他们的想象力和反事实能力,比如,“想象你在白色沙滩上,能描述一下你周围的情况吗?”或者“想一下你未来的计划。”我们发现,他们在想这些事时非常吃力。
某种意义上,他们被困在了当下,不记得过去,也难以想象未来。但如果你和他们聊五到十分钟,你会觉得,他们是完全正常的,可以自然地处理当下的事情,除了无法回顾过去和展望未来。
我们最终发现了一个非常重要的结果:如果没有海马体,你就不能进行有画面的想象,海马体是记忆和想象这两种功能的核心。
在黑暗中探索未知科学时,任何提示都非常宝贵。大脑能证明智能可以实现,它也是我们拥有的唯一证据。我一直认为,不能忽视大脑的作用,它为构建AI提供信息。
因此,我们用神经科学来做两件事:一是获得一些灵感,来思考算法、架构和大脑使用的表征,然后可能会有新型算法的灵感:二是验证,我们可能已经从工程学或数学中获得了一些构建学习系统的想法,比如源于工程学学科和运筹学的强化学习,但在90年代,我们发现大脑中也存在强化学习的一种形式。从AI的角度出发,这意味着强化学习是AI系统的一个组成部分,因为它存在于大脑里,而大脑也是一种通用智能。
当你考虑把工程资源和精力投入其中时,这一点非常重要。就算这现在还不起作用——正如在研究或工程中,第一次的尝试一般都不会成功——但它值得更多的投入,因为最终一定会有用,因为大脑就是一个“概念验证(POC)”。
话虽如此,后来有的AI从业者和神经科学家认为,我们需要完全自下而上、亦步亦趋的在神经元层次上复制大脑,但这种方法是错误的。我们追求的是系统神经科学的方法,你可以对大脑的算法和架构感兴趣,但不一定要关注具体的执行细节。这就好比计算机是硅基系统,而人类大脑是碳基系统,它们各有优劣,前者的各类细节没必要与后者一模一样。
无论如何,这些发现和我在博士期间学到的其他东西,成为我要在AI系统中构建记忆和想象,思考如何开发通用人工智能、如何应对挑战的重要灵感。所有这些经历汇集在一起,促使我想把计算机和神经科学结合起来,于是,2010年左右,我想创立一家DeepMind这样的公司来研究AI。
可以说,我是从终点出发往回开始探索,知道了需要什么技能,怎样的经历,才可能去建立这样一家公司。
2
不走寻常路,拿到亿万富翁的投资
也许很多人都不记得了,AI在2010年还不是一个热门话题,很难为它筹集到足够的资金。当然,即使到了今天,基于科研的初创企业也很难融资,因为并没有一个明确的产品。
我们要开发的是一项超乎想象的通用技术,随着这项技术发展得越来越强大,它可以应用范围很广。但对欧洲或者英国的绝大部分投资人来说,这听起来有些不切实际,更像是学术界会做的,你不知道它什么时候会起作用,这种技术也许学术界会先研究10年,然后当它可以应用时再去和投资人谈,他们通常希望在3-5年内就获得10倍回报。
我的感受是,学术界的研究节奏太慢了,而且如果成立一家研究型公司,三年后研究工作可能都还没步入正轨,所以,我需要一个对1000倍回报更感兴趣的投资人,而且他愿意等待10年甚至20年。
也许在硅谷会有这种白手起家的亿万富翁愿意投资,他们有足够的财力来赌一把,就算最后没有回报也没关系。同时,他们个人也对这类话题感兴趣,并且曾经见证过宏伟目标大获成功——他们就是这样做才赚到巨额财富。
在我们寻找第一批投资者时,国际象棋还发挥了非常直接的作用。通过背景调研,我们了解到其中一位投资人曾是非常优秀的美国国际象棋青年选手。我们知道,只有一小部分人能理解我们要做的事,而他就是其中之一。我们几乎花了一年时间做好与他会面的准备。
一开始,我们在硅谷没什么人脉,没机会见到他,后来,我们设法参加了一个由这位亿万富翁赞助的会议,可能会在会后的派对见到他,但问题是,当时有几百个人都在试图向他推销自己的想法。如果我跟其他人一样,直接抛出一个疯狂的想法,就不太会引起他的注意。
所以我想,不如先盘算一下,冒个险,和他聊聊国际象棋,但是我必须要想一些新奇有趣的内容。后来,我提到了一个甚至让国际象棋大师都感到惊讶的特点,就是从一个游戏设计师的角度来思考国际象棋,为什么象棋如此伟大?它是如何演变成如此伟大的游戏?
我认为,这是国际象棋里主教和骑士富有创造性的张力造成的。主教和骑士的价值大致相同——它们各三分,但却拥有完全不同的力量。主教和骑士被换到不同位置时会产生富有创造性的不对称,我认为正是这种不对称让它成为一个如此迷人的游戏。
我都忘了是怎么在一个派对里插进了这段话,但这引出了我的想法,他开始停下来思考。之后,他邀请我们第二天见面,得到了宝贵的半小时向他介绍商业想法,而不是短短喝酒时的一分钟。最终,我们成功拿到了他(没错,就是马斯克)的投资。
3
成为AI界的“阿波罗计划”
在伦敦正式成立DeepMind之后,目前我们拥有超过1000名科学家和工程师。这是一个从两个圈子萃取精华后形成的一个新组织:一方面,我努力从硅谷的一些最好的初创公司那里吸取经验,学习他们的关注重点、精力分配和工作节奏;另一方面,我想把这些特质和学术界的“天马行空的想像能力(blue-sky thinking)”结合起来,一群极其聪明的人致力于研究一些长远且重大的问题,并不断探索未知领域。通常,这两个圈子被视作截然相反的两个环境,很多公司都没这么试过,但这就是DeepMind。
我们的目标是开发AI的通用版本,愿景是成为开发“通用人工智能(AGI)”的“阿波罗计划”,就像实现人类首次登月一样,希望为AGI领域带来开创性的成就,承担几乎任意领域的工作,推动科学和人类文明前进。
关于AGI,其实没有统一的定义,我们把自己研究的东西称为AGI,是为了区别于大家日常可能用到的如AI推荐系统这样狭义上的AI。DeepMind所认为的AGI,是一种几乎在任何场景都可以像人类一样(甚至比人类更强)认知、思考的系统。
这样的AGI一定可以实现,人脑就是最可靠的证据,除非你认为大脑中有不可计算的东西。但到目前为止,还没有证据证明这一点。因此,我们应该可以在图灵机或计算机上有效模仿大脑的这些功能。
你可能会问,为什么要用人类作为参考标准?因为人类是目前已知的、宇宙中唯一的通用智能例子。人类智能创造出今天生活的美好文明,足以证明人类智能多么通用、神奇,如果AGI能模仿人类的能力,那AGI就会成为供人类所用的非常有用的工具。要开发智能,首先要深刻理解自然智能,然后在人工构造中模仿它。
从历史上看,至少从20世纪50年代AI研究就开始了,由图灵和麦卡锡这样的先驱引领。构建人工智能主要有两种方式,一种传统的方式是专家系统,比如超级电脑“深蓝”在90年代击败国际象棋世界冠军Garry Kasparov。专家系统依赖的是硬编码知识,这种系统由工程师和科学家设计,他们首先必须确定一种解决方案,然后编写进机器里,成为一套固定的规则让机器执行。
但专家系统的问题是,它们无法处理未知情况,只能局限于预先编程的解决方案。专家系统诞生自数学运算,由逻辑系统驱动,成为AI发展史中前五六十年的主流方式。
现在,一种新的方式是学习系统。它可以让AI直接根据基本原则、原始数据和实际经验自动学会如何处理情况。学习系统可以对新情况和新任务进行综合评估,并有望解决系统设计者未能解决的问题。这就是学习系统的潜在神奇之处。
这类学习系统衍生出神经网络、强化学习等技术,很多都以系统神经科学中一些被实践证实的概念为灵感依据,但它们并不是完全模仿人脑的运作,毕竟我们目前对人脑的了解还不够。总的来说,学习系统就是模仿人的思考,并以通用性和学习能力为重点。
学习系统有很多种,DeepMind研发的最著名的一种就是强化学习系统。这是一种根据基本原则、通过复杂试错形成的学习模式。
通常,在一个学习系统中,有一个智能体(Agent)处在一个环境中。环境可以是真实世界,那么对应的智能体则是实体机器人;环境也可以是虚拟环境、模拟环境或者游戏环境,这时的对象则是一种数字化身(Avatar)
智能体通过自己的观察获得环境信息,通常我们设计的观察方式是视觉模态,但也可以用听觉、触觉等其他模态。观察获得的信息往往杂乱无章而且不完整,智能体实施观察后,首要任务就是建立有关环境的模型,理解环境是如何运作的。
智能体通常有一个想要在环境中实现的目标,这个目标是系统设计者制定的,比如赢得一局游戏、实现得分最大化等。所以它第二个任务就是,思考、选择出能让它逐步靠近目标的最佳行动方案。
怎么找到最佳方案?根据第一步建立的环境模型,需要预测某个行动对环境有什么影响、会产生何种新的环境信息、以及这样的环境信息是否有利于目标的实现。
以上的思考结束后,智能体会确立行动方案,并采取行动。这个行动可能会对环境产生影响,也可能不会。这是一个动态变化的过程,意味着智能体是一个灵活的学习者,而不只是被动地依赖既定数据。它采取的某一步行动,可以影响下一步接收到的环境信息。所以这是一个主动学习系统,就像动物和人类的学习经历一样。
那么,DeepMind研发的AI能处理什么类型的问题?可以说,我们研发的AI是块砖,哪里需要就往哪儿搬,我们在不断地拓展AI的能力。
对科学或初创企业来说,你的追求要超前于时代,但不能太超前,不然就会陷入痛苦之中。就像Charles Babbage一样(译者注:他在19世纪初期提出了差分机和分析机的概念,被视为计算机先驱),我觉得他比他的时代超前了100年,做出了非常伟大的工作,但却是一个充满遗憾和悲伤的人生故事。
当前,我们判断某个问题能不能被AI解决,会依据三个标准:
第一,这个问题能不能被描述/归纳为某一大型组合化的搜索空间/状态空间(即所有可行方案的集)?因为如果不能的话,则难以使用专家系统来预设解决方案,而要使用“蛮力”来穷尽所有可行解决方案也是困难重重。我们需要这样的一个标准。
第二,这个问题有没有清晰可量化的目标,能让我们根据这个目标来逐步优化学习系统?比如,游戏的目标就是分数。
第三,这个问题有没有充足的数据可供系统学习?理想的情况是可以构建一个准确而高效的模拟装置来生成大量数据。只要数据是在正确的条件下生成,使用人工生成的数据来供系统学习也是可行的。
以上就是判断AI能否处理某一问题的三大标准。虽然听起来很苛刻,但其实还是有很多问题能够同时符合这三大标准。此外,我们还希望在相应问题的领域中,存在一些可供AI比较的外部衡量标准。最后,我们希望AI所解决的问题能够产生较大的下游影响。
游戏依然是一个很好的例子。用游戏作为算法的训练场景,它可以在线上或云端同时运行数百万个算法,特别高效,而且游戏有很清晰明确的度量指标(打赢游戏或得分最高),来判断AI表现得好不好。当然,我的游戏从业背景也是我们选择从这一场景切入的一个原因。
如你所知,2016年,AlphaGo的出现击败了世界围棋冠军,这令人激动,后来还发展出能自我对弈的AlphaZero,这是一个通用棋类AI 。我们都喜欢游戏,作为大规模的工程项目,它教会了我创造性思维,如今我们还把游戏作为主要方式,证明了一些AI算法。不过,这并不是DeepMind为AI定下的最终目标,我们希望不只是游戏届的最强王者,而是成为AI届的“阿波罗计划”,通过设计通用算法,运用AI去处理真实世界里的重要问题,尤其是在科学探索领域,这也是我个人对AI研发的心之所向。
最让我感到心潮澎湃的是,我们即将开启一个AI的“黄金时代”,而我们正站在这个时代的开端。
4
AlphaFold开启数字生物学新纪元
10年前,基本上还没人讨论AI,我们通过“求爷爷告奶奶”的方式才筹到少量启动资金。但DeepMind成立的12年以来,我们目睹了AI和机器学习令人难以置信的快速发展,终于在AI研究方面取得足够的进步,能用AI去做真正想做的事情。
除了游戏,我们后来发现,蛋白质折叠问题也符合我们用AI解决方案的判断标准。所谓蛋白质折叠,就是一维的氨基酸序列折叠成3D的蛋白质结构。
1972年,Christian Anfinsen在其诺贝尔奖获奖演讲中提出了一个著名假设:蛋白质的3D折叠结构,完全取决于它的氨基酸序列。自那以来,人们付出了50年的努力,想证明这个假设,弄清楚如何根据蛋白质的氨基酸序列准确得知其3D结构。这个问题有点像费马大定理——理论上可行,但证明过程太难了。
蛋白质折叠的确符合我所说的三个标准。首先是状态空间(可行的方案集)。与Anfinsen同时期的另一位科学家莱Cyrus Levinthal提出了一个著名的悖论,他计算出,普通蛋白质有10300种可能的结构,如果蛋白质只是随机折叠,以此来探索所有可能的结构并找出最合适的一种,这几乎不可能,但自然界中,蛋白质却能在几毫秒内自发折叠。所以,蛋白质折叠问题的状态空间就这么庞大,甚至比围棋的还要大。
另一个问题是:能不能通过计算来预测蛋白质结构。
我个人跟蛋白质折叠问题有挺深的渊源。90年代在剑桥大学读书时,我从一个朋友那里第一次了解到蛋白质折叠问题,这位朋友至今仍在剑桥分子生物学实验室(LMB)工作,一直在研究蛋白质结构。当年,他和我常常聊到,蛋白质折叠问题是人类最需要解决的问题之一,无论在哪儿,我们俩几乎一见面就聊这个问题。
当时我还在做Theme Park等AI游戏,那时就在想,等AI发展到一定阶段,说不定就可以用来研究蛋白质折叠问题。
第二次接触蛋白质折叠大约是在2008年,那时我在MIT当博士后研究员,有一款叫Foldit的游戏刚刚面世(Foldit是一款由华盛顿大学等机构联合开发的蛋白质折叠游戏),这种公众科学游戏(译者注:“公众科学”,又称“群智科学”,由业余科学爱好者参与的科研活动)的想法太有意思了。我认为公众科学可以有更大的发展,就像Foldit游戏一样,集中所有玩家的动力和精力,来为蛋白质折叠研究做贡献。也就是说,我们可以把其他科学问题融入游戏里,调动群智群力来帮助解决它。
这种做法的有趣之处在于,游戏玩得最好的往往不是生物学家,而是普通玩家,他们很可能比科学家更快破解出某种蛋白质的真实结构。一些由Foldit玩家破解出的重要蛋白质结构还发表到《Nature》杂志上了。Foldit游戏有点像益智游戏,玩家要找到能量最低的蛋白质主干折叠方式(蛋白质的天然结构往往就是它的能量最低构象)。
有时候玩家需要进行反向操作——先找到能量较高的折叠方式,再研究怎么折叠才会降低能量。这时,游戏玩家就有点像业余生物学家了。他们如果喜欢这个游戏,而且玩得特别好,就能够运用自己的直觉和图形处理能力,去找到正确的蛋白质折叠方式。事实证明,有些玩家在这方面的确有非常出色的直觉。
Foldit的成功让我看到一种希望:要人工构建一种系统,让它具备能与围棋大师相媲美的直觉,这是能够做到的。所以我们在研发AlphaGo的时候,思路跟Foldit差不多,也是模拟那些下了一辈子围棋的围棋大师们的直觉。
2016年3月,我们从首尔回来的第二天,就决定启动AlphaFold,至今已经六年了。
选择蛋白质折叠作为我们想用AI解决的问题的另一大原因是CASP(一项全球范围的蛋白质结构预测竞赛)的存在,这样我们就可以对标CASP来评价AI的蛋白质结构预测能力。
CASP竞赛的创办者是John Moult和他的团队,自1994年开始,每两年举办一次,迄今已经快30年了,很了不起。这个竞赛的一大重点是,预测试题是一些新发现的、还未发表的蛋白质结构,参赛选手并不知道这些结构,从零开始的预测也就不会像机器学习一样,出现数据过度拟合等问题。
CASP竞赛在夏天举办,几个月后,正确的蛋白质结构会公布出来,然后大赛就会比对这个结构给每支队伍的预测打分。CASP的分数叫做GDT值,可以简单地把它理解为“准确率”。“自由建模”是CASP最难的项目,2006年-2016年间的准确率提升非常缓慢。
2018年,DeepMind带着AlphaFold参加了第13届CASP竞赛,首次把尖端机器学习技术运用到了结构预测领域,一举夺冠,而且预测准确率比往年冠军队伍高出近50%。
不久后我们发现,当时运用的技术已经没有优化空间,所以根据2018年的参赛经验,我们重新构建了系统,希望能达到更高的准确率。2020年,在第14届CASP竞赛上,我们用AlphaFold 2再次让预测准确率飞跃到新台阶。
我们一直希望预测能达到原子精度(物理上的最高精度)。在2020年11月的CASP竞赛上,我们达到了这个目标,当时我们的中位数误差不到1埃米(1埃米=10^-10米,大约为1个原子的长度),把误差缩小到了原子级。
CASP的主办方告诉我们,这可以和实验室方法媲美,更重要的是,我们的技术可以供科研人员所用。我们的误差的准确数据是0.96埃米,仅仅是亚军队伍的误差的1/3,而亚军队伍至今沿用的仍是AlphaFold 1技术。其他队伍使用的几乎都是机器学习技术,但AlphaFold 2的预测误差依然最小,而且比其他的小得多。
在得知竞赛结果后,团队成员都惊叹于AlphaFold 2的预测结构是多么完美地契合真实的蛋白质结构。此外,在特定情况下,我们对SARS病毒和新型冠状病毒的蛋白质侧链结构的预测也相当准确。
这些只是开始,我们现在正在向其它新领域迈进。我们可以应用AI和计算方法来研究蛋白质复合物,AlphaFold-Multitimer可以在不同方面发挥作用:无序蛋白质、点突变、配体对接、蛋白质相互作用和蛋白质设计。
值得一提的是,目前我们正在寻找生物学家认定的可能导致下一次大流行病的前20种病原体,然后折叠它们所有的蛋白质,推断可能会产生哪些病毒。在未来几年内,我们还将实现自动化的药物研发流程。我们不仅会给出蛋白质的结构,甚至还可以提出可能需要什么样的化合物。另一方面,AI可以在分析方面跟踪趋势,并预测流行病传播后可能发生的情况。
我认为,AlphaFold就是我们的第一个大规模AI用例。它唤醒了科学界,让他们意识到AI可以做些什么。
我们正在开启一个新时代的大门,那也许就是数字生物学领域(相关阅读:《与吴恩达创办Coursera后,她一头扎进数字生物学》)。
生物学是一个信息处理系统,生命是非常复杂的,这是一个创发性的过程(emergent process),无法用简洁的数学方程来描述。尽管数学家们在尝试这样做,不过,我认为它们不会成为细胞的“牛顿运动定律”。它的创发性、互动性和动态性太强,但让AI用正确的方式找出微弱信号中的所有模式,这可能是一种完美的机制。
我希望AlphaFold是一种重要的概念性证明,它开启生物学的新纪元,用计算方法和人工智能方法来帮助生物系统建模,从而推动生物学取得新发现。
我认为,机器学习是描述生物学的最佳语言,就像数学是描述物理学的最佳语言。
过去50年,许多人都试图将数学应用到生物学,并取得了一些成功。但数学家用数学的方法解释生物学还是太复杂了,他们无法简单用几个方程式说清楚。机器学习就很适合,它非常擅长接收并理解微弱信号和杂乱信号,这和生物学中的机制刚好是一样的。
应用于生物学的AI会有更多的飞跃,能不能取得飞跃的关键在于:我们能不能充分模拟动态环境。这就引出下一个问题:AI系统真的在学习吗?AI能充分学习环境的物理属性吗?理解动态环境是下一个大挑战,显然,还没有人知道这是否可能,但我认为这是可以做到的。
数字生物学代表着的新时代的开始。这个梦想是未来能创造出一个类似完整的虚拟细胞模拟(virtual cell simulation),可以在生物信息学(silico)中进行查询和实验,然后通过实验进行验证。
就科学发现而言,事实上,无论是AlphaFold,还是在量子化学、纯数学融合基因组学等其他前沿科学领域引人注目的论文和突破,都令人惊奇,相信未来还会有更多。
我只想说,就像哈勃望远镜让宇宙学家深入认识宇宙,我也想建造一个终极的AI通用工具来帮助科学家们看得更远一点。
5
逆向工程:AI黑盒的可解释性
当我们将AI运用到医疗保健、乃至蛋白质折叠等领域时,AI的可解释性是相当重要的。
我想问的是,你在多大程度上理解AlphaFold的决策过程?AlphaFold未来会是什么样的?比如,它会为了取得好的结果而分散资源,还是基于深度学习网络真正理解自己该干什么?
目前的普遍说法是,AI是黑盒系统,的确是这样的,给AI输入数据,然后训练它们提供输出,而AI的输出也是你衡量AI能力的标准,你并不需要太关心AI的整个处理流程。但DeepMind的工程师和科学家想了解AI是如何做到这一点的。也许,有一天你可以想象逆向工程出现一些人类可解释的原理。
AI是一门“工程科学”,它与自然科学有什么不同?自然科学所研究的现象已经存在,但对它研究、分解并简化为原理是非常复杂的。对于工程科学,我们必须先建造人工产品,然后才能分析它,但这种分析并不比分析自然现象更容易。AlphaFold就是这样,它非常复杂。
直到现在,我认为在理解AI黑盒方面还没有付出太多努力,还没有真正做任何有趣的事情。如果一个人要花五年时间去分析一个黑盒,那最好是这个黑盒正在做一些有价值的事情。
目前,我能想到最好的例子是AlphaZero系统。棋类AI是AI研究最多的领域之一,这一研究从图灵和香农时代就开始了,他们两位开展了很多关于AI下棋的著名研究。
我们知道国际象棋的规则是什么样子的,经典系统使用了这些启发式方法,所以我们想知道能不能从AlphaZero网络中提取这些规则,比如国王安全、皇后移动、棋子的数量、分值等。事实证明,我们可以进行逆向工程,先了解AlphaZero对棋局的理解,然后将其与经典AI机器所进行比较。
DeepMind也有一个完整的神经科学团队,他们至少应该了解这些人工网络,就像了解自然大脑一样,尽管人类的大脑也有点像黑盒,但我们现在可以做功能磁共振成像和单细胞记录,所以对大脑有更多发现。有了人工大脑的情况下,我们有更多的自由做各种研究。DeepMind团队在研究建立这些类型的分析工具,我们称之为虚拟大脑分析,这本身是一个迷人的研究领域。
因此,我认为AI黑盒不是根本性问题,它们是可以被了解和剖析的。在这方面,我们仍处在AI发展的暂时过渡阶段。现在有了像AlphaFold 2这样值得花时间去了解的AI系统,接下来的10年里,会出现更多用于分析重要系统的可视化工具,一切才刚刚开始。
6
离AGI究竟还有多远
对于AI来说,现在一个非常激动人心的时刻。但我不想让大家以为,我们离人类水平的通用人工智能很近了。
AGI本身就是一个庞大的长期研究目标,我认为离AGI还有几十年的时间,还有很多挑战需要克服。比如无监督学习(Unsupervised Learning),也就是在没有任何回报的情况下学习;记忆和单样本学习(Memory and One-shot Learning),让系统从单一经验中学习,而不需要数百万种经验;基于想象力和生成模型的规划(Imagination-based Planning with Generative Models),让系统能运用想象力,想象未来及计划;迁移学习(Transfer Learning),让系统把知识从一个领域迁移到另一个它从未见过的新领域;学习抽象概念(Learn Abstract Concepts)以及理解语言(Language Understanding)。
即便如此,AI到目前为止的进展速度都是相当惊人的,如果在未来一二十年里实现AGI,我并不会非常惊讶。
如果你愿意尝试一番,那在此过程中产出的任何技术都可以拆分出来,然后应用到其他事情中去,并且结果会让你大吃一惊。我们认为,为这一雄心勃勃的、长期的研究目标而奋斗是创造可应用技术的最佳途径。
我一直梦想的结果是,AGI帮助我们解决当今社会面临的许多重大挑战,如医疗健康和新能源开发等。我所看到的是一种惊人的繁荣,AGI作为一项非常强大的技术将有助于进一步释放人类的潜力。
我设想的是,有些AI系统首先将开始能够使用语言,尽管这在当下已实现,但我认为未来它们将能更好地使用语言。然后,我们人类会与AI系统有越来越多科学性的协同工作。当我们用AI系统来执行不同任务时,AGI的组合包也将进一步发展,之后我们甚至可以用AGI来控制一个核聚变电站。
最终,我们能从各类任务中抽象出一个系统、一组想法或算法。一旦走到这一步,就会出现哲学上的争论。比如AI系统是否覆盖了人类所能做的所有事?我认为,它在某些方面肯定会超出人类的能力范围。但是,只要AI系统是以正确的方式完成这些事情就令人激动。
一些认知科学家也会去研究AI系统是否和人类一样具有认知能力,如创造力、情感、想象力以及记忆等。然后,我们就会主观认为AI系统正在变得越来越聪明,这也解释了为什么我会认为这是人类有史以来踏上的最激动人心的一趟旅程。我们试图借助从神经科学那里获取的灵感来构建AGI,这有助于我们进一步了解自己、了解人类思想。
一旦实现智能,AGI将帮助我们解决当今社会面临的许多重大挑战。比如治愈阿尔茨海默氏症等疾病,以及获取廉价、丰富的可再生清洁能源,这可能需要核聚变或者仅仅是更好的太阳能电池板、电池和室温超导体来解决,我们都应该尝试一下。如果成功了,那也会解决很多其它问题,比如通过淡化海水获取干净水资源,随着世界人口的增长,在一些贫困国家,水已经变得比石油更宝贵,所以获取廉价能源才是问题所在。
在核聚变领域,可能我们会提出使用类似AlphaZero的系统,这种电池能效要比现在的电池高出50%、续航时间要长10倍,而价格却只有其1/10。或者我们会发明出一种太阳能电池板,使用光伏材料,将热能转化为电能的效率提升两倍,到时德克萨斯州一半面积铺上的电池板所产生的能源够全世界使用。这个方法现在还不是很高效,但如果有室温超导体一旦成熟,那利用太阳能将变得更加可行。
在材料科学领域,AI将提供更多、更好的组合方案,你可以将所有不同的化合物组合在一起,然后决定哪个才是最好的。
就像我经常对别人说的那样:不管你的问题是什么,答案都是AI。因为它在某种程度上是个上限,这可能有点轻率,但目前我们所有问题的答案——比如我们为什么在这里,为什么我们在对话,为什么我们使用这些了不起的计算机和设备——答案都是因为人类智能,我认为这是奇迹般的科学方法。
另一件奇迹般的事是,自启蒙运动以来,科学的方法一直是行之有效、颠扑不破的。你可能思考过“为什么宇宙会这样运行”的问题,这也说明科学的方法总是有效的。如果宇宙是随机运行的,那么科学方法就行不通。世界的运转是有规律可循的,是前后一致的,因此,科学知识也成为可能。
同时,令人感到惊奇的是,我们的大脑——尽管是为了狩猎和采集而进化的——却能以某种方式解释这样的规律——这本身已然是一种奇迹。那么,面对这样的奇迹,首先,我们怎么会不想要研究这些问题呢?其次,我们为什么要给大脑的能力设限呢?
至少从我理性、合乎逻辑的角度来看,事情就应该是这样发生的,这也正是我研究AI的出发点。我们要尽全力思考自己能做些什么,要从文明的角度思考发生了什么。也许你会觉得这有点奇怪,但我认为这是正确看待事物的方式,大多数人都没有以正确的方式思考问题。也许这就是我一生都在做的事:试着提出正确的问题。
另一方面,我最大的担忧之一是,人类在通往实现AGI的道路上将会如何使用AI技术。像大多数技术一样,AI可用于好的方面,也可用于坏的方面,这取决于社会和政府决定如何运用它们。
当然,我们不能过分夸大AI,很多人认为AI已经可以做任何事情,但实际上,如果他们真正地了解AI,就会知道这项技术并不完备,当前的部分忧虑有些是过度的。
比如AI系统耗能问题,即使是大型模型,也只耗费了全球能源很小的一部分。与在线观看视频相比,这些AI系统需要只需要更多的计算机和带宽。另外,现在大多数的大数据中心几乎都是100%碳中和的,尤其像谷歌这样的公司。
医疗保健系统或能源使用系统中,大多数AI模型对环境的影响都是“净正面”的。我们已经证明,开发AI模型实际上可以优化能源系统本身。例如,我们的AI系统的最佳应用之一就是通过给数据中心制冷散热,节省了30%的所需能源,这可能比我们用于所有AI模型的能源总和都要多得多。
当然,我们要确保AGI符合人类的价值观,像人类一样制定合理的目标,我们认为人工智能不应该被应用到军事等领域,需要制定规则将不可控因素的影响降到最小。实际上,生物学领域有几十年处理这类问题的经验,比如设计合成生物学、病毒、胚胎学、CRISPR等等,他们的科学家和更广泛的社会团体、监管部门一起,共同找出对每个人都安全的道路规则,我认为这是未来十年在AI领域必须协调的事情。
作为DeepMind的领导者,我们一直在思考道德伦理问题,在幕后其实做了很多事情。我也希望可以影响其他人,毕竟我们在技术上处于领先地位,这一点非常重要,否则别人凭什么要听你讲道德层面的事情?不是哪个群体讲道德伦理大家都会听的。要想有发言权和说服力,无论是国家、公司,甚至是个人,必须了解技术前沿。
怎样知道已经完成了AGI的构建?这是一个哲学问题。对我来说,我正在等待许多关键的时间点,例如,AI系统涌现新的科学发现,并达到诺贝尔奖的水平,这对我来说将是一个分水岭,这将是这些系统能力发展的重要一步,在某种意义上能够实现真正的创造力。另一个重大时间点是AI可以使用语言,能够用自然的方式与我们交流,能够学习抽象概念,这些都还是我们远未实现的高级认知能力,这也会是未来的重要节点。
7
追随内心的深切渴望
十几岁时,我就有了AGI的这些想法,我猜可能是因为读了太多科幻小说。比如阿西莫夫的《基地(Foundation)》系列小说,这是超乎想象的科幻巨作。还有Iain Banks的《文明(Culture)》系列,这是一部太空歌剧(Space Opera),探讨在人类已经建立了AI并与其共存之后,宇宙将会是怎样的。
Hofstadter的《哥德尔,埃舍尔,巴赫(Gödel, Escher, Bach)》这本书对我来说非常重要,这是我在做“主题公园”时读到的,更像是一本哲学书,它把哥德尔关于数学的不完全性定理结合在一起,通过埃舍尔的画作和巴赫的赋格曲,展示了它们在某种程度上是相互关联的,有一种重复的、无限的模式循环,然后他将其与意识和智慧联系起来。我真的很受启发,这本书让我思考一些深刻的问题。
如果我们不止于把AI用在游戏里,而是把它提升到与人类相同的水平,那么AI的极限会是什么?我当时的小伙伴认为AI没有极限,一切皆有可能。也许我可以换个说法,如果环顾周围,你会看到不可思议的现代文明。那是什么造就了现代文明?人类智能。
如果回到人类以狩猎为生的时代,你说有一天我们会建造出纽约曼哈顿区,我们会定期乘坐上百吨重的747飞机在云端从伦敦飞往曼哈顿,这真的超乎想象。然而,人类就是用猴子脑袋难以置信地做到了这一点。我们无需停下来思考这是多么令人惊讶,因为人类大脑的另一个特点是非常能够适应环境,当我们已经做出来了某件事情,它就变得有点无聊和普通,有些琐碎。
这样一想,如果我们现在开发AGI,并用这个了不起的工具增强人类的能力,我觉得在物理定律范围内,甚至可能在物理定律之外,几乎任何事情都是可能的。有了AI,我们可能会发现更多有关物理定律的信息,或者发现对物理定律的理解有一些漏洞或缺陷。
我想了解人类大脑里的宇宙和真实的宇宙中发生了什么,一直驱使我的是对探寻这一有趣、迷人奥秘的深切渴望,我不明白为什么有人不会去思考这个谜团。
我被难以理解的事物迷住了,也感到困惑,几乎无法入睡,想着那些大问题,比如生命的意义、宇宙是怎么开始的,什么是意识等等,所有这些在我的头脑中像是刺耳的汽车喇叭。我想弄懂这些问题,我开始尝试的第一步就是开发人工智能。
我对未来非常乐观,因为AI正在发展,如果我们以合理的方式开发、部署AI,来造福社会,那这将是人类有史以来最了不起的、变革性的技术。试想一下,如果有了AGI这样的技术,几百年后的世界会是怎样的?可以用AGI构建什么?那时的情况超乎想象,人类将会发挥真正的潜能。
很久以前,我就设想过AGI那一天的到来:有一天,你走进办公室发现代码只是在正常执行,但等第二天你再进来的时候,却发现它却似乎能感知到你的出现。如果这种情况真的发生的话,某种意义上来说会很美好。但我猜想,当我们开始接近这个场景时,我们会觉得有趣,也会有些奇怪。
我认为,我们开发的系统并不全部都是没有感知或意识的。感知或意识也可以只是一种程序,只要AI学会了,它们就会执行。我一直特别关注AGI是否提出了全新想法,创造新事物,又或者提出新的科学理论,并用它来解决问题。在那个“重要的”日子到来之前,这些事情将是我努力和奋斗的方向。
参考链接:
-
https://www.youtube.com/watch?v=zYII3AOSgo8&list
-
https://www.youtube.com/watch?v=XtJVLOe4cfs
-
https://www.youtube.com/watch?v=vcLU0DhDhi0
-
https://www.youtube.com/watch?v=GdeY-MrXD74
其他人都在看
以上是关于DeepMind爆发史:决定AI高峰的“游戏玩家”|深度学习崛起十年的主要内容,如果未能解决你的问题,请参考以下文章
DeepMind用新AI超越自己:提速200倍,在所有雅达利游戏上胜过人类
《影子战术:将军之刃》再次刷新史低!Steam疯狂周三特卖推荐
DeepMind“钓鱼执法”:让AI引诱AI说错话,发现数以万计危险言论