Hadoop2.x生态系统的常用框架

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop2.x生态系统的常用框架相关的知识,希望对你有一定的参考价值。

企业中的比较全面HADOOP的生态架构

 

 HDFS :分布式文件系统

 YARN:分布式资源管理

 MapReduce:离线计算框架

 Spark:内存计算框架

 Hive:数据仓库 (HQL),提供一种类SQL的数据处理方法

 Pig:一种数据流语言,用来快速轻松的处理巨大的数据

 HBase:分布式数据库

 Oozie:任务调度

 Sqoop:数据转化工具

 Flume:实时日志收集工具

 Zookeeper:分布式服务框架

 Cloudera Manager:一个Web界面的Hadoop管理系统来进行Hadoop相关服务的安装、配置和监控

 Hue :开源的Apache Hadoop UI系统 (Python Web框架Django实现)

以上是关于Hadoop2.x生态系统的常用框架的主要内容,如果未能解决你的问题,请参考以下文章

其他常用框架

初识Hadoop,轻松应对海量数据存储与分析所带来的挑战

Hadoop2.x-基础(HadoopHDFSYARNMapReduce安装与部署本地模式伪分布式完全分布式)

常用Web框架

《OD学spark》20160925 Spark Core

『转载』hadoop2.x常用端口定义方法及默认端口