初识Apache Hadoop

Posted 2020-08-21

Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。下面编者对于ApacheHadoop进行详细介绍：

    一、什么是Apache Hadoop？

    1.概念：用来存储、处理和分析大数据的开源框架。

    2.特点：分布式，可扩展并且容错

    3.使用成本：利用了产业标准硬件的能力，成本低。

    4.ApacheHadoop集群框架：

Batch processing	Search engine	Analytic SQL	Machine learning	Stream processing	Other applications
workload management
Data  storage
Data   integration

    二、关于Apache Hadoop的几个事实：

1．开源：Apache Hadoop本身是开源的

2. 大约十个公司的60多个committers：如cloudera,yahoo,facebook,apple等，对于Apache Hadoop发展有着重要作用。

3.几百个编写特性和修复bug的贡献者

4. Apache Hadoop本身有很多项目、应用和工具等

    三、Hadoop生态：

    

     四、供应商集成：

    五、了解发行版：

        1.Cloudera：提供了CDH和Cloudera Manager

（1）CDH (Cloudera’s Distributionincluding Apache Hadoop)：100%开源，为企业准备的Hadoop和相关项目的发行版；集成了所有关键的Hadoop生态项目

        

2.Hortonworks：提供了HDP (HORTONW0RKS DATA PLATFORM)

 

        

         3. Mapr:mapr汇聚数据平台

 

         4.其他发行版：

 

    以上就是小编根据自己的实际经验为大家总结的Apache Hadoop基本知识，让大家对于Hadoop有一个基本的框架认识。在这里，也真诚建议大家平常多自主学习，无论是看一些大数据的书籍，还是关注一些大数据资讯，对于大家都是很有帮助和促进的。我个人在平时喜欢看大数据cn和大数据学习中心这样的微信服务号，经常有一些大数据最前端的资讯和一些免费的资源，对于我个人而言，帮助还是蛮大的，大家平常也可以多积累一些这方面资源，多多分享交流，共同进步！

本文出自 “11872756” 博客，谢绝转载！