大数据组件 - Ambari 01 简介
Posted 雷学委
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据组件 - Ambari 01 简介相关的知识,希望对你有一定的参考价值。
大数据组件 - Ambari 01 简介
是什么?
Ambari是apache下的一个开源项目,致力于让hadoop集群管理更加简单。它开发了丰富的RESTful APIs,以及一套直观易用的WebUI管理界面。
它主要是由Cloudera公司参与贡献开发的(可以查看https://ambari.apache.org/team-list.html)。
功能
它提供了:
- provision 必要组件供配(安装)的功能
- 一步接一步的安装面板进行组件安装
- 帮助大数据运维工程师管理集群上所有服务的配置,配置是版本化的。
- managing 管理集群上的组件
- 启动
- 关闭
- 更新配置
- monitoring 监控集群上的组件
- 提供了一个Dashboard(面板)监控并可用来展示集群监控和集群状态
- 运用了AMS(Ambari Metrics System)进行监控指标收集
- 运用了AAF(Ambari Alert Framework)进行系统告警,同时通知运维人员集群状态。
使用
目前主要是Cloudera公司使用了Ambari打包封装提供了一些企业版本的产品,如HDP(Hortonworks Data Platform),CDP(Cloudera Data Platform),CDF(Cloudera DataFlo)。CDF前身为HDF(Hortonworks DataFlow)。
HDP vs HDF
HDP可以简单理解为一个HadoopCluster Platform,就是一个大数据的存储和计算平台,关注在HDFS, Yarn以及一些计算引擎的(比如Spark/Tez)管理。
HDF(DataFlow)这个包含Nifi组件(Nifi是一个数据迁移搬运的流式处理框架),更多关注点在于如何把大量的,多种格式的数据,以高效可控的方式导入到大数据存储层。
所以,我们经常会看HDP + HDF 组合在一起的集成大数据平台。
下一篇会展示一个使用Ambari搭建的集群,可以先关注,第一时间查看后续更新。
参考链接:
https://community.cloudera.com/t5/Support-Questions/differences-between-hdp-Hortonworks-Data-Platform-and-hdf/td-p/220101
https://cwiki.apache.org/confluence/display/AMBARI/Quick+Start+Guide
https://docs.cloudera.com/HDPDocuments/Ambari-2.7.5.0/bk_ambari-installation/content/ch_Getting_Ready.html
以上是关于大数据组件 - Ambari 01 简介的主要内容,如果未能解决你的问题,请参考以下文章