2Hadoop 2.X 概述及生态系统
Posted Grand_Jon
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2Hadoop 2.X 概述及生态系统相关的知识，希望对你有一定的参考价值。
Hadoop官网
Hadoop来源
- GFS -> HDFS
- MapReduce -> MapReduce
- BigTable -> HBase
Common
The common utilities that support the other Hadoop modules.
- 工具、基础、为工程服务
HDFS
A distributed file system that provides high-throughput access to application data.
- 存储海量数据
- 分布式
- 安全性：副本数据
- 数据是以block的方式进行存储的
YARN
A framework for job scheduling and cluster resource management.
- 分布式资源管理框架
- 管理整个集群的资源（内存、CPU核数）
- 分配调度集群的资源
MapReduce
A YARN-based system for parallel processing of large data sets.
- 对海量数据的处理
- 分布式
- 思想：分而治之。
- 大数据集分为小的数据集，进行逻辑业务处理（map），合并统计数据集结果（reduce）
Hadoop生态圈
以上是关于2Hadoop 2.X 概述及生态系统的主要内容，如果未能解决你的问题，请参考以下文章