hadoop 创始人 DogCutting
高效,可扩展性,高容错性,价格低廉的大数据软件处理架构
主要应用于数据分析、数据实时查询、数据挖掘领域
HDFS(HadoopDistributeFileSystem 分布式文件系统)
总结:从字面意思我们可以简单理解为:hadoop是用来处理大数据的,HDFS是用来存储大数据的。
-*-hadoop项目结构-*-
MapReduce 主要用于离线计算
Tez (DAG计算)基于YAN之上生成无向循环图,优化计算
Spark 和Mapreduce相似在内存中进行运算,性能高
HIve hadoop上的数据仓库(可用于企业数据分析),会把SQL语句转化为MapReduce运行
Pig 一个基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言PigLatin
Oozie 工作流调度工具
Zookeeper 分布式调度服务
Hbase Hadoop上的非关系型分布式数据库(分布式列数据库)
flume 流数据日志收集分析
Sqoop 在hadoop和传统平台之间互导数据
Ambari 安装部署工具