运用Hadoop能否搭建完整的云计算平台?

Posted 2020-09-27 箜喒

Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级别的数据。

     Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以，核心在“服务”。关于服务，展开来就是常用的那3种(也是事实上的标准)：SaaS,PaaS,IaaS。对云计算来说，公有和私有，虚拟和存储，这其实是相对讨论的核心。

　　回头说Hadoop。在Google三大论文的直接刺激下，Hadoop社区兴起，而在众多的开源实现中，Hadoop(主项目)可以说是所有已知云计算方面开源项目的一个Top项目。

　　云计算中有哪些构件?发展到目前的技术与规模，并没有一个确切的定论，今天的说的话明天可能就不一样了。但对Hadoop来说，实现了的部分，就是大部分企业在不断发展中所遇到的大部分问题。直接上图：

　　从整体生态系统的角度，从底层存储，到中间的计算模型和框架，再到上层的逻辑处理和流、显示，都有相应开源的实现。这就是你说的构件了。

　　包括我们看到的Hadoop2.0中，引入的新的处理框架，Spark，Storm，YARN(取代MR)，都是Hadoop生态系统的完善与实现。

　　Hadoop实现的是在简易硬件的基础上进行尽量高可用性海量计算与处理的中上层模型。Hadoop处理了存储(也只是一部分)，虚拟化是没有涉及的，而底层硬件Hadoop也是不涉及的，不管是Hadoop还是其他的项目，只是在软件的层面想通过纵向或者横向的拓展解决所有的问题是不现实的。Hadoop在硬件这方面，只是在实现中预留或者接入硬件特性，也就是在虚拟化这方面Hadoop只是个“APP”，不是“始作俑者”(用词不当了)。

　　那么，完整的云计算平台呢?

　　按照企业级来说，是要看具体的企业方向和企业类型的，包括IBM和VMware都有提供不同的解决方案。大致上一定是由单点–>集群–>多层(准分布式)–>硬件–>分布式(地域分布)来解决的。具体到Hadoop体系的技术，直接去对应上图就好了。

　　从云计算这个概念出现到今天，资料可以说“浩如烟海”了，但很多资料只是互相复制黏贴，并没有说到云计算的核心。我想提出的一个观点是，完整的云计算平台，依赖的是业务，提供的是存储与支持。

　　没有业务需求而是照搬网上的资料或者自认为“活用”了某些技术，都可能只是“娱人娱己”。我们看一下互联网负载均衡技术是如何发展的就就更容易理解云计算：

　　客户端缓存–>CDN缓存–>Apache&nginx静态页面缓存–>php和Java动态内存–>Memcache&Other Nosql–>mysql&Oracle–>HDFS&Other Big Table

　　从技术的角度看，所有问题解决起来都是层次化的(大家肯定都有写Demo吧)，都是根据不同的需求引入不同的技术，在单层单点乃至集群都无法解决问题的时候，新的计算框架，云计算与网格计算乃至动画需要的大规模渲染都在需要的时候顺理成章的引入。总之，完整的云计算平台，对于不同的公司业务都是不同的，拿腾讯来说，平台的组件多如牛毛，“平台”只是提供最基础的服务：存储与支持，其他的都需要业务根据自身的特点在其上进行构建(相信大公司都是有自己的完整方案的，这里我就不能再说了……)，至于提高什么样级别的这种“服务”，就要看公司的业务规模，需要支撑的体系，乃至公司的决策战略了等等。