如何给非理科生讲明白什么是云计算大数椐（上）

Posted 2021-03-07 approx

旧事重提

云计算和大数椐都提的比较早，如云计算 早在7年前的2010中国(深圳)IT领袖峰会上，BAT三位大佬就分别谈了自己对云计算的看法。

李彦宏表示云计算其实就是新瓶装旧酒，没有新东西。从早先客户端与服务器的关系，到后来基于互联网的Web界面服务，在到云计算，本质上都是一样的。李彦宏是从纯技术的角度来看的，想必熟悉做技术的同学在当时的时间 点也会这么看。

 

而马化腾则认为云计算是一个比较有技术性，比较超前的概念。他同意未来云计算拥有很大的想象空间，但认为现在还为时过早，要过几百年、一千年后才确实有可能(实现)。当然马化腾当时说的云计算应该和我们现在BAT各家提供的服务不一样的。

与前两位不同的是，马云表示对云计算充满了信心，充满了希望。他所理解的云计算是一种数据存储、处理并分享的机制，阿里巴巴拥有大量消费数据、交易数据，这些数据于阿里而言，于社会而言都是非常有用的。他称云计算是阿里又找到的一个新的矿产。

 

 

当然，这种看法没有孰是孰非，现在也分别有了阿里云，百度云，腾讯云。态度不同结果也不同，阿里最先开展云业务，阿里巴巴公布2017财年全年财报，其中，阿里云该财年营收规模达到66.63亿元人民币，同比上年增长121%，连续两年实现三位数增长。相比下来，腾讯云与百度云就要逊色一些。在国际权威IT调研与咨询服务公司Gartner17年发布的云供应商魔力象限中，只有阿里云进入了领导者象限，与IBM、Oracle不相上下。如下图，Amazon、 Google遥遥领先：

当然到18年云计算已经成为常态。国外亚马逊、微软、谷歌、IBM等这些科技巨头，也早已纷纷把云计算业务视为重要战略方向。国内除了BAT外，目前华为也开始进入这个领域。

云计算及其演进

我们首先来说云计算。云计算最初的目标是对资源的管理，管理的主要是计算资源、网络资源、存储资源三个方面。

 

什么叫计算、网络、存储资源？

比如你要买台笔记本电脑，是不是要关心这台电脑是什么样的CPU？多大的内存？这两个就被我们称为计算资源。

这台电脑要上网，就需要有个可以插网线的网口，或者有可以连接我们家路由器的无线网卡。您家也需要到运营商比如联通、移动或者电信开通一个网络，比如100M的带宽。然后会有师傅弄一根网线到您家来，师傅可能会帮您将您的路由器和他们公司的网络连接配置好。这样您家的所有的电脑、手机、平板就都可以通过您的路由器上网了。这就是网络资源。

您可能还会问硬盘多大？过去的硬盘都很小，大小如10G之类的；后来即使500G、1T、2T的硬盘也不新鲜了。(1T是1000G)，这就是存储资源。

对于一台电脑是这个样子的，对于一个数据中心也是同样的。想象你有一个非常非常大的机房，里面堆了很多的服务器，这些服务器也是有CPU、内存、硬盘的，也是通过类似路由器的设备上网的。这时的问题就是：运营数据中心的人是怎么把这些设备统一的管理起来的呢？

为什么不自己买台服务器电脑放数椐中心，供自己公司使用，而要使用云计算呢？

最初一些有实力的公司就是这么做的，自己购买服务器。但对一些初业公司来说，自己购买物理机当服务器存在以下一些问题。

• 它缺乏时间灵活性。不能够达到想什么时候要就什么时候要。比如买台服务器、买个电脑，都要有采购的时间。如果突然用户告诉某个云厂商，说想要开台电脑，使用物理服务器，当时去采购就很难。与供应商关系好的可能需要一个星期，与供应商关系一般的就可能需要采购一个月。用户等了很久电脑才到位，这时用户还要登录上去慢慢开始部署自己的应用。时间灵活性非常差。
• 它的空间灵活性也不行。例如一个用户需要一个很小很小的电脑，但现在哪还有这么小型号的电脑？不能为了满足用户只要1G的内存是80G硬盘的，就去买一个这么小的机器。但是如果买一个大的，又会因为电脑大，需要向用户多收钱，可用户需要用的只有那么小一点，所以多付钱就很冤。

如何解决物理机的不灵活性？

首先想到的就是虚拟化。用户不是只要一个很小的电脑么？数据中心的物理设备都很强大，我可以从物理的CPU、内存、硬盘中虚拟出一小块来给客户，同时也可以虚拟出一小块来给其他客户。每个客户只能看到自己的那一小块，但其实每个客户用的是整个大的设备上的一小块。

虚拟化的技术使得不同客户的电脑看起来是隔离的。也就是我看着好像这块盘就是我的，你看着这块盘就是你的，但实际情况可能我的这个10G和你的这个10G是落在同样一个很大很大的存储上。而且如果事先物理设备都准备好，虚拟化软件虚拟出一个电脑是非常快的，基本上几分钟就能解决。所以在任何一个云上要创建一台电脑，一点几分钟就出来了，就是这个道理。

这样空间灵活性和时间灵活性就基本解决了。

关于虚拟化，这里多说一点。 在虚拟化领域，最牛的公司是VMware。它是实现虚拟化技术比较早的一家公司，可以实现计算、网络、存储的虚拟化。这家公司很牛，性能做得非常好，虚拟化软件卖得也非常好，赚了好多的钱，后来让EMC(世界五百强，存储厂商第一品牌)给收购了。

但这个世界上还是有很多有情怀的人的，尤其是程序员里面。有情怀的人喜欢做什么事情？开源。

这个世界上很多软件都是有闭源就有开源，源就是源代码。也就是说，某个软件做的好，所有人都爱用，但这个软件的代码被我封闭起来，只有我公司知道，其他人不知道。如果其他人想用这个软件，就要向我付钱，这就叫闭源。

但世界上总有一些大牛看不惯钱都让一家赚了去的情况。大牛们觉得，这个技术你会我也会；你能开发出来，我也能。我开发出来就是不收钱，把代码拿出来分享给大家，全世界谁用都可以，所有的人都可以享受到好处，这个叫做开源。

比如最近的蒂姆·伯纳斯·李就是个非常有情怀的人。2017年，他因“发明万维网、第一个浏览器和使万维网得以扩展的基本协议和算法”而获得2016年度的图灵奖。图灵奖就是计算机界的诺贝尔奖。然而他最令人敬佩的是，他将万维网，也就是我们常见的WWW技术无偿贡献给全世界免费使用。我们现在在网上的所有行为都应该感谢他的功劳，如果他将这个技术拿来收钱，应该和比尔盖茨差不多有钱。

开源和闭源的例子：

例如在闭源的世界里有Windows，大家用Windows都得给微软付钱；开源的世界里面就出现了Linux。比尔盖茨靠Windows、Office这些闭源的软件赚了很多钱，称为世界首富，就有大牛开发了另外一种操作系统Linux。很多人可能没有听说过Linux，很多后台的服务器上跑的程序都是Linux上的，比如大家享受双十一，无论是淘宝、京东、考拉……支撑双十一抢购的系统都是跑在Linux上的。 再如有Apple就有安卓。Apple市值很高，但是苹果系统的代码我们是看不到的。于是就有大牛写了安卓手机操作系统。所以大家可以看到几乎所有的其他手机厂商，里面都装安卓系统。原因就是苹果系统不开源，而安卓系统大家都可以用。

在虚拟化软件也一样，有了VMware，这个软件非常贵。那就有大牛写了两个开源的虚拟化软件，一个叫做Xen，一个叫做KVM，如果不做技术的，可以不用管这两个名字，但是后面还是会提到。

虚拟化的缺点和为什么引入云计算？ 要说虚拟化软件解决了灵活性问题，其实并不全对。因为虚拟化软件一般创建一台虚拟的电脑，是需要人工指定这台虚拟电脑放在哪台物理机上的。这一过程可能还需要比较复杂的人工配置。

所以仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特别大，一般在十几台、几十台、最多百台这么一个规模。

这一方面会影响时间灵活性：虽然虚拟出一台电脑的时间很短，但是随着集群规模的扩大，人工配置的过程越来越复杂，越来越耗时。另一方面也影响空间灵活性：当用户数量多时，这点集群规模，还远达不到想要多少要多少的程度，很可能这点资源很快就用完了，还得去采购。

所以随着集群的规模越来越大，基本都是千台起步，动辄上万台、甚至几十上百万台。如果去查一下BAT，包括网易、谷歌、亚马逊，服务器数目都大的吓人。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置，几乎是不可能的事情，还是需要机器去做这个事情。

人们发明了各种各样的算法来做这个事情，算法的名字叫做调度(Scheduler)。通俗一点说，就是有一个调度中心，几千台机器都在一个池子里面，无论用户需要多少CPU、内存、硬盘的虚拟电脑，调度中心会自动在大池子里面找一个能够满足用户需求的地方，把虚拟电脑启动起来做好配置，用户就直接能用了。这个阶段我们称为池化或者云化。到了这个阶段，才可以称为云计算，在这之前都只能叫虚拟化。

云计算的私有与公有 云计算大致分两种：一个是私有云，一个是公有云，还有人把私有云和公有云连接起来称为混合云，这里暂且不说这个。 - 私有云：把虚拟化和云化的这套软件部署在别人的数据中心里面。使用私有云的用户往往很有钱，自己买地建机房、自己买服务器，然后让云厂商部署在自己这里。VMware后来除了虚拟化，也推出了云计算的产品，并且在私有云市场赚的盆满钵满。 - 公有云：把虚拟化和云化软件部署在云厂商自己数据中心里面的，用户不需要很大的投入，只要注册一个账号，就能在一个网页上点一下创建一台虚拟电脑。例如AWS即亚马逊的公有云；例如国内的阿里云、腾讯云、网易云等。

亚马逊为什么要做公有云呢？我们知道亚马逊原来是国外比较大的一个电商，它做电商时也肯定会遇到类似双十一的场景：在某一个时刻大家都冲上来买东西。当大家都冲上买东西时，就特别需要云的时间灵活性和空间灵活性。因为它不能时刻准备好所有的资源，那样太浪费了。 但也不能什么都不准备，看着双十一这么多用户想买东西登不上去。所以需要双十一时，就创建一大批虚拟电脑来支撑电商应用，过了双十一再把这些资源都释放掉去干别的。因此亚马逊是需要一个云平台的。

然而商用的虚拟化软件实在是太贵了，亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商。于是亚马逊基于开源的虚拟化技术，如上所述的Xen或者KVM，开发了一套自己的云化软件。没想到亚马逊后来电商越做越牛，云平台也越做越牛。

由于它的云平台需要支撑自己的电商应用；而传统的云计算厂商多为IT厂商出身，几乎没有自己的应用，所以亚马逊的云平台对应用更加友好，迅速发展成为云计算的第一品牌，赚了很多钱。

在亚马逊公布其云计算平台财报之前，人们都猜测，亚马逊电商赚钱，云也赚钱吗？后来一公布财报，发现不是一般的赚钱。仅仅去年，亚马逊AWS年营收达122亿美元，运营利润31亿美元。

云计算的赚钱与情怀 公有云的第一名亚马逊过得很爽，第二名Rackspace过得就一般了。没办法，这就是互联网行业的残酷性，多是赢者通吃的模式。所以第二名如果不是云计算行业的，很多人可能都没听过了。 第二名就想，我干不过老大怎么办呢？开源吧。如上所述，亚马逊虽然使用了开源的虚拟化技术，但云化的代码是闭源的。很多想做又做不了云化平台的公司，只能眼巴巴的看着亚马逊挣大钱。Rackspace把源代码一公开，整个行业就可以一起把这个平台越做越好，兄弟们大家一起上，和老大拼了。

于是Rackspace和美国航空航天局合作创办了开源软件OpenStack，如上图所示OpenStack的架构图，不是云计算行业的不用弄懂这个图，但能够看到三个关键字：Compute计算、Networking网络、Storage存储。还是一个计算、网络、存储的云化管理平台。

当然第二名的技术也是非常棒的，有了OpenStack之后，果真像Rackspace想的一样，所有想做云的大企业都疯了，你能想象到的所有如雷贯耳的大型IT企业：IBM、惠普、戴尔、华为、联想等都疯了。

原来云平台大家都想做，看着亚马逊和VMware赚了这么多钱，眼巴巴看着没办法，想自己做一个好像难度还挺大。现在好了，有了这样一个开源的云平台OpenStack，所有的IT厂商都加入到这个社区中来，对这个云平台进行贡献，包装成自己的产品，连同自己的硬件设备一起卖。有的做了私有云，有的做了公有云，OpenStack已经成为开源云平台的事实标准。

随着OpenStack的技术越来越成熟，可以管理的规模也越来越大，并且可以有多个OpenStack集群部署多套。比如北京部署一套、杭州部署两套、广州部署一套，然后进行统一的管理。这样整个规模就更大了。

在这个规模下，对于普通用户的感知来讲，基本能够做到想什么时候要就什么什么要，想要多少就要多少。还是拿云盘举例子，每个用户云盘都分配了5T甚至更大的空间，如果有1亿人，那加起来空间多大啊。

其实背后的机制是这样的：分配你的空间，你可能只用了其中很少一点，比如说它分配给你了5个T，这么大的空间仅仅是你看到的，而不是真的就给你了，你其实只用了50个G，则真实给你的就是50个G，随着你文件的不断上传，分给你的空间会越来越多。

当大家都上传，云平台发现快满了的时候(例如用了70%)，会采购更多的服务器，扩充背后的资源，这个对用户是透明的、看不到的。从感觉上来讲，就实现了云计算的弹性。其实有点像银行，给储户的感觉是什么时候取钱都有，只要不同时挤兑，银行就不会垮。

到了这个阶段，云计算基本上实现了时间灵活性和空间灵活性；实现了计算、网络、存储资源的弹性。计算、网络、存储我们常称为基础设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性。管理资源的云平台，我们称为基础设施服务，也就是我们常听到的IaaS（Infranstracture As A Service）

IaaS在资源层面实现了弹性，但能不能在应用层面实现弹性吗？ 比如说实现一个电商的应用，平时十台机器就够了，双十一需要一百台。你可能觉得很好办啊，有了IaaS，新创建九十台机器就可以了啊。但90台机器创建出来是空的，电商应用并没有放上去，只能让公司的运维人员一台一台的弄，需要很长时间才能安装好的。

为了解决这个问题，在IaaS平台之上又加了一层，用于管理资源以上的应用弹性的问题，这一层通常称为PaaS（Platform As A Service）。大致分两部分：一部分称为“你自己的应用自动安装”，一部分称为“通用的应用不用安装”。

• 自己的应用自动安装：比如电商应用是你自己开发的，除了你自己，其他人是不知道怎么安装的。像电商应用，安装时需要配置支付宝或者微信的账号，才能使别人在你的电商上买东西时，付的钱是打到你的账户里面的，除了你，谁也不知道。所以安装的过程平台帮不了忙，但能够帮你做得自动化，你需要做一些工作，将自己的配置信息融入到自动化的安装过程中方可。比如上面的例子，双十一新创建出来的90台机器是空的，如果能够提供一个工具，能够自动在这新的90台机器上将电商应用安装好，就能够实现应用层面的真正弹性。例如Puppet、Chef、Ansible、Cloud Foundary都可以干这件事情，最新的容器技术Docker能更好的干这件事情。
• 通用的应用不用安装：所谓通用的应用，一般指一些复杂性比较高，但大家都在用的，例如数据库。几乎所有的应用都会用数据库，但数据库软件是标准的，虽然安装和维护比较复杂，但无论谁安装都是一样。这样的应用可以变成标准的PaaS层的应用放在云平台的界面上。当用户需要一个数据库时，一点就出来了，用户就可以直接用了。

有人问，既然谁安装都一个样，那我自己来好了，不需要花钱在云平台上买。当然不是，数据库是一个非常难的东西，光Oracle这家公司，靠数据库就能赚这么多钱。买Oracle也是要花很多钱的。

然而大多数云平台会提供mysql这样的开源数据库，又是开源，钱不需要花这么多了。但维护这个数据库，却需要专门招一个很大的团队，如果这个数据库能够优化到能够支撑双十一，也不是一年两年能够搞定的。

比如您是一个做共享单车的，当然没必要招一个非常大的数据库团队来干这件事情，成本太高了，应该交给云平台来做这件事情，专业的事情专业的人来做，云平台专门养了几百人维护这套系统，您只要专注于您的共享单车应用就可以了。

要么是自动部署，要么是不用部署，总的来说就是应用层你也要少操心，这就是PaaS层的重要作用。

 

 

虽说脚本的方式能够解决自己的应用的部署问题，然而不同的环境千差万别，一个脚本往往在一个环境上运行正确，到另一个环境就不正确了。

而容器是能更好地解决这个问题。

 

 

容器是 Container，Container另一个意思是集装箱，其实容器的思想就是要变成软件交付的集装箱。集装箱的特点：一是封装，二是标准。

 

 

在没有集装箱的时代，假设将货物从 A运到 B，中间要经过三个码头、换三次船。每次都要将货物卸下船来，摆得七零八落，然后搬上船重新整齐摆好。因此在没有集装箱时，每次换船，船员们都要在岸上待几天才能走。

 

 

有了集装箱以后，所有的货物都打包在一起了，并且集装箱的尺寸全部一致，所以每次换船时，一个箱子整体搬过去就行了，小时级别就能完成，船员再也不用上岸长时间耽搁了。

这是集装箱“封装”、“标准”两大特点在生活中的应用。

 

 

那么容器如何对应用打包呢？还是要学习集装箱。首先要有个封闭的环境，将货物封装起来，让货物之间互不干扰、互相隔离，这样装货卸货才方便。好在 Ubuntu中的LXC技术早就能做到这一点。

封闭的环境主要使用了两种技术，一种是看起来是隔离的技术，称为 Namespace，也即每个 Namespace中的应用看到的是不同的 IP地址、用户空间、进程id等。另一种是用起来是隔离的技术，称为 Cgroups，也即明明整台机器有很多的 CPU、内存，而一个应用只能用其中的一部分。

所谓的镜像，就是将你焊好集装箱的那一刻，将集装箱的状态保存下来，就像孙悟空说：“定”，集装箱里面就定在了那一刻，然后将这一刻的状态保存成一系列文件。这些文件的格式是标准的，谁看到这些文件都能还原当时定住的那个时刻。将镜像还原成运行时的过程（就是读取镜像文件，还原那个时刻的过程）就是容器运行的过程。

有了容器，使得PaaS层对于用户自身应用的自动部署变得快速而优雅，云计算的使用也就更加广泛。

 

转自：https://zhuanlan.zhihu.com/p/46827620