并行机缔造者希利斯和思维机器的浮沉十年
Posted OneFlow深度学习框架
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了并行机缔造者希利斯和思维机器的浮沉十年相关的知识，希望对你有一定的参考价值。
新技术从不会凭空产生，都是继承、组合已有技术演变而来。技术史上，很多令人惊艳的技术、产品或组织成为绝无仅有的经典剖析样本，但时过境迁，那些源技术和缔造者们却逐渐被遗忘。并行机缔造者丹尼尔·希利斯和他的思维机器的故事就是其中之一。
1981年，在美国物理学家海因茨·帕格尔斯（Heinz Pagels）的帮助下，文化经纪人约翰·布罗克曼（John Brockman）成立了“现实俱乐部”（The Reality Club），试图聚拢那些来自计算机科学、遗传学、心理学、物理学、宇宙学等各领域的执牛耳者，让他们讨论让各自不解的问题，以互相获得启发。
通过现实俱乐部的几次会议，布罗克曼结识了两位年轻的研究人员，他们即将在计算机科学变革中扮演重要角色。
一位是洛克菲勒大学的塞思·劳埃德（Seth Lloyd），后来他在量子计算和量子通信领域进行了开创性研究，为量子计算机提出了第一个在技术上可行的设计方案。
另一位是正在麻省理工学院读研的丹尼尔·希利斯（Daniel Hillis），他的导师是人工智能和人工神经网络的奠基人马文·明斯基 (Marvin Minsky) ，他对这位学生不吝赞美，说他思考深邃，最有发明头脑。后来他的职业生涯也证明了这一点，手握300多项专利，成立了多家前沿科技公司。
当时，为了解决常识推理问题，希利斯想设计一台足够快的计算机。他相信，就像在人脑中的神经元那样，如果有大量非常小的处理器，每个处理器都能够处理自己的数据并与其他处理器快速通信，可以使计算机解决即使是最强大的串行处理器也无法解决的问题。
研究生期间，他开发了一种并行算法使得大规模并行计算成为可能。随后他设计了一台有64000个处理器的大型并行处理计算机，叫做连接机器（Connection Machine），以替代传统的冯诺依曼架构计算机。
要制造出这样一台机器，大学实验室显然无法承担成本，于是，他们决定要成立一家公司。
在中文互联网上，关于这家公司的资料寥寥，但要记得，希利斯的并行技术思想和这家公司的产品将在推动各领域相关技术上发挥作用，并深刻影响如今人工智能的发展。
1
豪华阵容组队创业
连接机器非常接近地反映了人类大脑的运作。不像常规的计算机只有一个处理器，一次只处理一组数据，它可以有成千上万个处理器来同时处理很多数据，同时完成很多任务。
要知道，即便是当时速度最快的超级计算机也无法识别人脸，无法完成人类轻易搞定的其他任务。连接机器的本质现在来看可能会觉得理所当然，但在那时技术专家的眼里，是不切实际的，甚至不可能实现。
费曼穿着为“连接机器”设计的T恤
反对者中最为著名的一位专家是理查德·费曼（Richard Feynman）。与这位已获得诺贝尔奖的物理学家共进一顿午餐时，他直言不讳地告诉希利斯，连接机器的想法是他听过的“最愚蠢的想法”。
不过，你或许可以把这当做一句费曼式的口头禅，尽管他对这个想法持有怀疑，但不管怎样，他对此还是很感兴趣，并答应希利斯在新公司成立后去做一整个夏天的兼职。
对了，希利斯能认识他，不是通过导师明斯基的引荐或其他人脉关系，而是因为费曼的儿子当时是希利斯同一学院的师弟，他们时有交流。
有了极具创造性的想法，希利斯还拥有实现想法的超强执行力。
为践行他对并行机器的理念和设想，1983年5月，在哥伦比亚广播公司总裁弗雷德·斯坦顿答应注入1600万美元的天使投资后，他和在MIT攻读城市规划博士的雪莉·汉德勒（Sheryl Handler）在马萨诸塞州沃尔瑟姆创立思维机器公司（Thinking Machines Corporation ），主要是使用并行结构研发超级计算机连接机器。当然，从公司名里可以很直接地看出，其长期愿景是创造有思维的机器，不过到现在，这还是一个不曾过时的梦想。
在1980年代早期，对人工智能和并行处理感兴趣的一般只有高校学者，但受到全新计算技术和宏伟愿景的吸引，思维机器组建了一支由科学家、工程师和设计师组成的豪华阵容。
除了上述两位合伙人，副总裁有理查德·克莱顿（Richard Clayton）、创始科学家马文·明斯基、产品开发主管马文·德尼科夫（ Marvin Denicoff）、首席工程师布鲁斯特·卡勒（Brewster Kahle），其早期成员从硬件设计师、营销团队、软件开发、高层管理人员等都是MIT、斯坦福等名校出身，甚至还配备了著名的法国厨师。
此外，他们还有一票世界级的科学家做技术参谋，比如：
埃里克·兰德（Eric Lander），数学家和遗传学家，曾研究组合学和表示理论在编码理论中的应用，具有七十项与基因组学相关的专利；
斯蒂芬·沃尔弗拉姆（Stephen Wolfram），数学家、计算机科学家，曾是Mathematica和Wolfram Alpha引擎的首席设计师；
悉尼·布伦纳（Sydney Brenner），生物学家，2002年获得诺贝尔奖；
理查德·费曼，物理学家，1965年获得诺贝尔奖获得者。
创业想法、启动资金、草台班子都已就位，他们还需要愿意埋单的潜在市场。
有必要先介绍思维机器所处的时代背景。
20世纪80年代左右，人工智能研究刚好迎来一波新高潮，尤其专家系统开始模拟人类专家的领域知识和经验来解决特定领域的问题，实现了AI由理论研究转向实际应用的突破。当时有意愿支持AI研究的一般是政府，因为其他机构没有相应的财力和风险承受能力。
为了帮助美国开发用于军事系统的强大、智能的计算机，美国国防高级研究计划局（DARPA）是AI研究的重要资助者，尤其在日本宣布研发第五代计算机项目后，刺激了美国政府加大对AI研究的资助，计划在前五年投入6亿美元。《财富》杂志还预测，到1993年这一市场规模将达到5000亿美元。作为世界上创立最早的AI公司，思维机器的产品研发将得到DARPA这条大腿的大力支持。
千里之行，始于足下。尽管他们的长期目标是创造有思维的机器，但作为一家商业公司，需要结合市场需求，他们瞄准正趋火热的符号处理应用，例如推理、知识表示、语言理解、信号处理和机器视觉系统，用户则是AI研究人员。
因此，思维机器的第一代连接机器CM-1的工程设计也朝向这一目标。
2
CM-1横空出世
那时，人们普遍认为并行编程太难且无用。传统计算机架构依靠单个强大的处理器一个接一个地执行计算，而连接机器的第一代产品CM-1以人脑结构为模型，将数据分布在数万个简单的1位处理器，所有这些处理器都可以同时执行计算，这种架构称为单指令流多数据流 (SIMD)。
为了让SIMD设计更快地进行通信，费曼在他兼职的那个夏天提出了内部网络，这是一个12维布尔n立方体结构。在这种硬连线的物理结构中，用于处理器之间通信和数据传输的软件数据结构可以根据问题的需要进行更改。显然，处理器之间的连接比处理器本身更重要，而这也是“连接机器”这个产品名最初的由来。
同时，CM-1还支持Lisp语言以及串行数据，让它更适合解决符号计算等人工智能应用。
值得一提的是，费曼在CM-1的研发过程中扮演了关键角色。除了铺设线路、采购等公司建设所需的打杂工作，他还在数值计算、构建神经网络以及在元胞自动机（如紊流turbulent fluid flow）的物理模拟中寻找创新用途等方面为研发连接机器做出了宝贵贡献。
思维机器团队对还未出产的CM-1信心满满。
总裁雪莉告诉他们的投资者，有了这群人，给他们五年时间，就可以生产出比现有计算机明显更好的计算机，不是迈出10%或20%这样的一小步，而是一大步。
1985年4月，CM-1正式问世，这是一台拥有65536个处理器的大规模并行超级计算机，他们在机器上成功运行的第一个应用是康威生命游戏。
CM-1能做什么？在它的主要解决方案中，一个是在文档搜索中识别一些重要概念，在互联网出现之前，它也许是第一个可以支持搜索引擎输入自然语言来查询并获得答案的机器，甚至还可以支持导航，这是如今地图服务的原型版本，也是万维网的先驱。另一个是机器视觉，也就是用立体图来计算二维目标的深度。
其他应用包括语义网络、集成VLSI电路优化和使用元胞自动机的流体流动可视化，背后都使用了符号算法。
那一年，希利斯还发表了关于第一台连接机器的的博士论文。论文指出，现有计算机速度慢的一大原因是硬件使用效率极低，为了提升计算效率，就需要计算机的处理器像人脑神经元那样大量进行互相连接。这一思想在深度学习大行其道的今天，看上去理所当然，但在当时却创新性极强。最终，这篇有157页的论文斩获当年ACM最佳博士论文奖。（论文链接：
https://dspace.mit.edu/bitstream/handle/1721.1/14719/18524280-MIT.pdf?sequence=2&isAllowed=y）
CM-1的出现，无疑是一个极具魄力和独创性的技术探索和发明，一些研究人员很快将CM-1用于AI研究中，并评价这件事做得非常激进，以至于整个行业花了一段时间才理解它。
其外观设计也给当时其他硬件产品带来启发。那会儿刚被苹果公司辞退的乔布斯就曾要求其下属找到连接机器的设计师来设计NeXT计算机，就连好莱坞导演斯皮尔伯格也对这块机器非常着迷，并且在电影《侏罗纪公园》中给它塑造了一个超级计算机的角色。
不过，真正的危机很快爆发了，CM-1叫好不叫座。
纵然有了不起的工程师团队，但在AI技术、客户需求和商业化前景，甚至公司管理这些问题交织在一起，整个团队很难达成一致，这让他们开始遭受质疑，一度陷入危机。
人工智能市场并不像《财富》 杂志的规模预测那样轻易，CM-1的实际买家只有DARPA。希利斯意识到，要想坚持原有方向，还需要革命性的算法和软件，而不仅仅是创新硬件，但这似乎只能通过他们自己的发展来建立AI市场。
技术上，CM-1主要有处理器的内存有限、通信网络慢、不支持浮点数，上手难度大等不足，这降低了对AI研究人员的吸引力。由于机器的物理限制，CM-1的许多预期应用无法实现，比如不能识别人脸或进行自然语言处理。同时，为了实现通用和优雅的设计，他们牺牲了CM-1的许多实用功能，甚至开始被视作许多预期应用的硬件“玩具”。
对于产品是否坚持面向AI应用，他们内部进行了激烈争论，并重新评估了技术方向。某种程度上，这种争论本身也说明AI应用方向在当时发展的不确定性，他们对这一市场持有的乐观态度在危机中发生转变。
最终，在坚持面向AI应用，转向科学计算或数据库应用三大方向之间综合利弊考虑后，他们偏向了科学计算，并决定对下一代连接机器CM-2的发展方向做出调整。
3
终究走向衰落
连接机器技术方向上的“转型”在一开始执行得并不坚决。
实际上，工程师们没有完全放弃CM-1某些AI应用导向的工程设计，许多人仍然相信人工智能应用，他们将人工智能和科学计算技术同时结合在新一代产品上，比如位串行处理和SIMD架构。产品开发主管德尼科夫称，在CM-2的设计过程中，团队中每个人都在努力寻找解决自己领域难题的方法， CM-2正是在这种状态下产生的。
1987年4月，CM-1被功能更强大的CM-2机器以相同封装和类似的架构所取代，后者加入了浮点运算单元和一个被称为DataVault的10 GB存储系统支持，并支持两种新的并行编程语言C*和CM-FORTRAN，计算能力能够达到2500 MIPS/2500 FLOPS。在应用上，工程师们认识到可以用它解决有趣的科学问题，例如模拟全球气候变化、模拟地球的地质构造，为制药行业设计大型化合物。当然，CM-2的宣传资料里也强调许多AI应用。
大方向上，CM-2的技术迭代预示着思维机器团队朝向科学计算方向进行工程研发，而不再定位于人工智能应用。
随着CM-200的推出，连接机器的系统软件几乎经历从头重写，以摆脱位处理器，这种更迭使得机器性能提高了三到五倍，这也表明了浮点运算单元的重要性，以及CM-1中使用位串行处理的局限性。团队中很多人认为，如果早一点认识到浮点数的重要性，那么CM-2将会是一款完全不同的机器。
连接机器产品路线图，源自维基百科
专注科学计算看来是不错的选择，思维机器公司开始摆脱生存危机。
1989年，公司开始盈利，部分原因是与DARPA签订了合同，后一年，销售额更是达到6500万美元，思维机器一跃成为并行超级计算机的市场领导者。
1991年11月，CM-1/CM-2超立方体设计被CM-5取代。基于RISC计算的CM-5，可以在SIMD和 MIMD（多指令流多数据流）模式下运行，并有一个完全重新设计的内部通信架构，能够实现 1 teraflops 范围内的性能。CM-5作为当时世界上最强大的超级计算机 ，赢得了高性能计算领域备受瞩目的的戈登贝尔奖。
可惜好景不长，思维机器公司的命运和20世纪90年代初的世界政治格局一样风云突变。
除了政府支持的科研机构和大企业购买，连接机器没有其他市场的销售份额，再加上冷战后政府支持资金的枯竭，这家公司开始走下坡路。
DARPA和美国能源部减少了他们与思维机器的合作，同时，IBM、Cray等竞争对手也推出了相应的并行机。而法律层面的收紧，也限制他们出口产品到国外。1992年，公司再度陷入财务亏损，内部管理更加混乱。内忧外患之下，首席执行官雪莉出局，很快，希利斯本人也离开了这个最初围绕他的论文而成立的公司。
1994年，思维机器公司申请破产，创始团队正式解散， IT服务提供商太阳微系统公司收购了其硬件和并行计算软件部门。后来，在引入新管理层后，思维机器业务进行重组，摇身一变成为一家专门从事知识发现软件和服务的公司，其中推出的一个产品是“高端数据挖掘软件套件”Darwin。回光返照两年后，思维机器彻底被太阳微系统公司收购。
4
启发创新者
在那起起落落的十年里，机器思维公司终于不复存在。不过，它的技术思想和实践后来在更多技术领域被继承，并成为商业上值得剖析的典型样本。
它向世人展示了创造大型并行计算机的可能性，连接机器在计算科学领域取得了巨大成功，以及全新计算的价值和前景。后来，它被MIT作为《工程革命的结构》课程作为项目案例进行分析，而CM-2被纽约现代艺术博物馆永久收藏。
同时，因为在并行算法上的基础研究和连接机器产品上的贡献，希利斯本人在1994年入选为ACM Fellow。
思维机器留下的另一个重要遗产是“人”。希利斯后来回忆说，它像曼哈顿计划那样聚集了世界上最优秀的一批人，你可以投资这家公司里的任何一个人，无论他是做什么的。他还不无遗憾地感慨，如果那时他对世界和商业运作的理解有如今的四分之一，也许会让思维机器活得更久一点，撑到互联网的出现和并行计算时代的到来。
除了希利斯和其导师马文·明斯基，很多团队成员后来也成为各个领域首屈一指的领导者和创新者，例如：
作为世界上最早的一批分布式计算专家，他们研究的广度和深度超越了时代，后来雪莉和其他部分成员联合创办Ab Initio，专门从事相关的大数据处理应用和企业应用集成；
布鲁斯特·卡勒，创立了Internet Archive和Alexa，并在2012年入选互联网名人堂；
大卫·华尔兹（David Waltz），哥伦比亚大学教授，在AI多个领域做出了重大贡献，包括约束满足、基于案例的推理以及大规模并行计算在AI问题中的应用；
格雷格·帕帕多普洛斯（Gregory Papadopoulos），计算机科学家、风险投资人，他还是Redshift理论的创建者和主要支持者；
卡尔·西姆斯（Karl Sims），计算机图形艺术家和研究员，他以在计算机动画中使用粒子系统和人工生命而闻名。
在技术想法、编程技术和软硬件方面，思维机器可能无意中影响了后来世界上诸多技术的创新与发展，CM-1/CM-2的前工业设计师Tamiko Thiel做了以下总结：
诺贝尔物理学奖获得者费曼使用连接机器研究了他对量子计算领域的开创性想法；
思维机器前首席工程师、互联网名人堂成员布鲁斯特·卡勒使用连接机器开发了第一个自然语言搜索引擎；
谷歌联合创始人谢尔盖·布林还在马里兰大学读本科时，使用CM-2学到了并行编程技术， 而谷歌搜索的MapReduce算法与希利斯当初所想的编程范式类似；后来谷歌还收购了希利斯创办的另一家公司MetaWeb，他们做出了FreeBase，该公司技术成为谷歌知识图谱的基础，CTO约翰·詹南德雷亚后来成为谷歌人工智能的负责人；
如今支持深度学习的硬件，本质上是由微型化连接机器的芯片组成，正如由NVIDIA制造的GPU促进了虚拟现实在30年后取得的成功。
并行编程技术的许多知识曾随思维机器的消逝而一度被人忽略，直到人工智能的新一轮发展浪潮来临，它加速了神经网络模型训练，对并行计算的关注也随之掀起高潮。
希利斯提醒AI领域的人不要忘记控制论创始人维纳对他们的深层影响。他说，你在执行维纳给出的路线图，你只是没有意识到。
同样地，现在你所做的工作，或许就有来自希利斯和其他科学家在思维机器所做的贡献，今天的AI历史故事线也应该有他们的一席之地。
主要参考资料
《AI的25种可能》，约翰·布罗克曼著
http://tamikothiel.com/cm/index.html
http://courses.csail.mit.edu/6.972/TMC%20Corp.html
https://www.inc.com/magazine/19950915/2622.html
https://en.wikipedia.org/wiki/Thinking_Machines_Corporation
https://longnow.org/essays/richard-feynman-and-connection-machine/
https://www.youtube.com/watch?v=IHTj4gjzFIA&list=PLtATAtEQO-b8_UpjjmBKUK8vC52_qdhGR&index=2
https://dspace.mit.edu/bitstream/handle/1721.1/14719/18524280-MIT.pdf?sequence=2&isAllowed=y
其他人都在看
以上是关于并行机缔造者希利斯和思维机器的浮沉十年的主要内容，如果未能解决你的问题，请参考以下文章