虚拟化和云计算：大数据价值的左膀右臂

Posted 2021-04-26 哈工程云计算虚拟化项目

“滴答”一秒钟过去了，在互联网上，人们发送了290封电子邮件;亚马逊处理72.9笔订单;人们在Youtube上传时长达20分钟视频……这些，其实就是见证一种趋势：大数据。

大数据是一种大规模数据的管理和利用的商业模式和技术平台的泛指，它与传统的海量数据不同的是，它除了数据规模呈现几何级数增长的特征之外，还包括所有数据类型的采集、分类、处理、分析和展现等多个方面，从而最终实现从大数据挖掘潜在巨大价值的目的。

根据IDC的统计报告指出，这种大数据未来发展将会给数据存储和相关的应用服务带来显著增长。比如在存储领域，从2010年至2015年间，复合年度增长将达到61.4%。在中国方面，根据IDC《中国大数据技术与服务市场2012-2016年预测与分析》显示，该市场规模将会从2011年的7760万美元增长到2016年的6.17亿美元，未来5年的复合增长率达51.4%，市场规模增长近7倍。

值得注意的是，现有的技术架构并不能很好地切割、分享这么一块大蛋糕。在众多大数据解决方案中，Hadoop成为了人们实现大数据分析的首选，然而，它仍然离不开虚拟化和云计算技术和平台的支撑。发展成熟的虚拟化和有着广阔前景的云计算，将成为大数据价值实现的左膀右臂。

面对海量数据的增长，传统架构虽然能够进行扩充，但它却面临着不能实现水平横向扩展的局限性，传统的IT架构和数据处理方式无法有效地应对大数据环境。数据的存储、计算、管理、分析等节点都需要适应大数据需求的方案，同时也要满足性能上的扩展。因此，基于数据中心的IT基础设施，也必将从传统的数据中心迈向云数据中心转型。

云数据中心是云计算背景下新的业务需求和资源利用模式与数据中心的完美结合。云模式已成为企业利用数据中心平台应对大数据挑战的重要方式。根据IBM的数据报告，当前数据中心有85%的运算能力存在闲置，50%至60%的数据中心IT负载可以采用云计算技术。这些，其实挖掘大数据价值的解决方案对它们有着同样的诉求。

云计算为何会助力大数据挖掘价值呢?我们可以从以下三个方面来探讨：

一、云计算帮助大数据平台降低复杂性，简化运维，提升资源活性和利用效率

云计算通过基于网络的服务交付，将硬件等基础架构融合为无形的IT资源，并借助负载均衡、分布式计算、并行计算、虚拟化、网络存储和统一管理等技术手段，实现IT服务的无缝化、定制化和伸缩性交付。

二、云计算帮助云数据中心降低成本，有利于将更多资金投入到增值业务中

由于采用了大量的虚拟化技术和统一的跨平台管理，可以帮助运营商/企业用户节省大量的设施成本和软件许可费用。此外，云数据中心的资源利用率能够得到进一步提升，并且在负载均衡方面也有更出色的表现，从而最大化保护用户投资，实现产品服务生命周期内价值最大化。节约下来的资本则可以投放在大数据的前期采集(增加数据源和数据类型)、存储、处理、分析并最终实现决策参考等各个业务环节。

三、云计算可支撑基于大数据的灵活高效IT服务，满足多种个性化需求

云计算和大数据一样，都有基于分布式计算的应用。不过，大数据更多的是需要有集群带来的高性能计算和存储扩展(横向和纵向)。借助云计算的分布式系统和虚拟化灵活调配资源，可以帮助大数据的各项分析、处理、挖掘提供高效灵活的IT服务支撑，满足用户个性化/定制化大数据挖掘、分析需求。

很多企业IT应用虚拟化程度仅有20%-30%。但随着云计算的逐步成熟与落地，云数据中心也越来越被企业接受。当然，这种虚拟化在云数据中心中的应用也就更加广泛了。

了解大数据的读者都知道，Hadoop是所有大数据解决方案中最具成长性的平台，它通过集群搭建起的高性能计算和存储平台，利用分布式架构对海量数据(包括结构和非结构数据)进行分析和处理。在这种情况下，也许很多人会误以为虚拟化运行在SAN上，而Hadoop却在本地硬盘上运行，从而主观认为虚拟化不适合大数据平台。甚至有人会认为，虚拟化会给IT系统带来更多资源开销，降低Hadoop性能。

其实，大数据平台下的Hadoop，更多的是基于集群版(包括开源和英特尔发行版)，而不是单机版。通过虚拟存储架构下的共享存储(SAN或者NAS)，可实现更简便高效的部署，并且实现集群的自动负载均衡。

另一方面，并不是所有的企业都有足够的精力和能力去应对部署Hadoop带来的挑战(部署门槛和系统调优门槛)，而且Name Node和Job tracker存在单点失效问题，Hive、HCatalog等非Hadoop核心模块也没有双机集群高可用性的保障，专有的Hadoop集群CPU利用率低，Hadoop和非Hadoop负载不能直接共享资源，等等。这一系列的问题，都给Hadoop的使用带来了诸多不便。

在这种情况下，引入虚拟化解决方案就成为了破解这些难题的“救命稻草”了。服务器虚拟化、甚至基于计算、网络、存储各个模块的全面虚拟化，有助于降低成本和提升集群系统的可用性和可靠性，避免Hadoop集群带来的昂贵成本负担，使得广大中型企业也可以实现大数据的分析和应用，而且也可以帮助提升大数据的服务价值。

另外一种情况是，基础设施的全面虚拟化，还可以顺应大数据几何级数增长的发展态势，从而从一开始就紧随业务/大数据价值挖掘的需求不断推进，提升大数据价值内涵。

编后语：

虚拟化和云计算，将为大数据价值的挖掘提供更富有灵活扩展、高效利用的技术支持。虽然大数据需要有更多的新技术来帮助实现，但早已发展成熟的虚拟化以及当下流行应用的云计算，将有助于简化大数据价值的挖掘和服务的提供，从而实现大数据的更快部署实施和惠及更多地区、行业用户的应用服务。

（文章转载自中关村在线）

- END -

咨询qq:531587384

地 址：哈尔滨工程大学（南岗区南通大街145号）

乘车路线：哈站乘坐6路公交车、哈西站乘坐37路公交车到南通大街站下车即可。

了解更多内容请咨询

“

长按二维码
关注我们吧