大数据技术介绍

Posted 2021-04-26 古今纵横

第三章 大数据技术的兴起

世上没有无缘无故的爱，也没有无缘无故的恨。这就是说任何事情的发生都是有原因的，而且在发生之前，都早已流露出种种迹象。这些迹象看似偶然，实则必然。因为根据哲学的说法，偶然是必然的表现，必然是偶然的本质。不要不相信哲学，它毕竟是科学之科学，不得不信。

事物的发生也是慢慢进化而来的，不是瞬间产生的。根据哲学论，量变引起质变。在量上慢慢积聚，哪天达到一个临近点，就发生质变，造就事物的快速呈现。原子弹爆炸就是量变引起质变，技术的发展也是如此。

在2012年，我们的主人公大数据就突然火爆起来了，但它也不是横空出世，而是孕育它的各种条件已经成熟，它才得以破茧而出，展现在我们面前。大数据的出现，是建立在一系列技术发展、经济发展和文化发展之上的。尤其互联网的发展是大数据发展的最大驱动力。

大数据需要强大的运算能力
计算机的大脑CPU自从产生以来，就一直在持续提高运算速度。进入新世纪以来，CPU进入了更高速发展的时代，以往可望而不可及的1Ghz大关被轻松突破了。而且单台计算机上还采用多个CPU，每个CPU又是多核，运算能力更强大了，足以及时快速处理大数据。而且CPU的制造成本和售价也在不断下降。

大数据需要快速的运输能力
数据的移动离不得网络。在第二平台期间，网络的速度虽然一直在提高，但远远不能满足海量数据的快速输送。进入新世界以来，万兆网络出现了，大量光纤的投入使用，让整个互联网的传输速度有了质的飞越，让海量数据在网络上传输已经不是什么难题。互联网进入世界各个角落，进入千家万户，还有无线网络等，这些都为数据的方便、快速传输提供了必要条件。而且网络设备的制造成本和售价也在不断下降。

大数据需要大容量的存储能力
大数据是海量数据，需要能容纳海量数据的存储设备存放。磁盘的容量几十年以来也是不断提高，访问速度也是越来越快。目前单个磁盘每秒读写几百MB不成问题，如果采用RAID磁盘组的方式，可以成倍提高读写速度，可以达到每秒读写两个GB，而且还提高了数据的安全性，且能成倍提高存储的数据量。如果再采用几个RAID组，那一台机器每秒能够读写几个GB。SAN、NAS的出现，给大型企业的网络部署解决了很多难题。而很多高端存储设备更是能够安全智能地存储海量数据和快速读写，并能够做到高可用，也就是即使有磁盘坏掉也不要紧，数据依然存在，读写也无需中断。而且存储设备的制造成本和售价也在不断下降。


以上几个方面为大数据的存储、传输、分析计算创造了条件。锅碗瓢盆都有了，柴火油盐也齐了，就差一把米下锅了。没有米，还是什么饭也做不成。没有数据，大数据就是空。


但大数据怎么才能产生出来呢？要知道这是海量数据，不是几个企业，几个人就能够造出来了，它需要所有企业，所有人一起参与制造。要想让这么多企业和这么多人一起参与，就要有条件有动力才行。

企业在激烈的竞争中早已认识到数据信息的重要性，但苦于不知道怎么才能更安全、可靠、低成本地来产生数据、管理数据和利用数据。随着硬件设备（CPU、网络设备、存储设备）能力越来越强、价格越来越低，企业已经能够大量采购使用了。但随着设备的越来越多，投入也是越来越大，管理维护成本也是不断攀升。如何解决这个问题呢？那就是云计算。云计算技术到2010年已经完全成熟，并广泛使用。

这个时候，我们的时代就进入了第三平台时期，它以移动计算、云服务、大数据、社交为主要特征，有数十亿用户参与，有数百万应用程序在运行，产生了无穷无尽的海量数据。

终于，在二十一世纪第二个十年的黎明时刻，瓜熟蒂落，大数据孕育而生了！