大数据组件 - Ambari 01 简介

Posted 雷学委

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据组件 - Ambari 01 简介相关的知识,希望对你有一定的参考价值。

大数据组件 - Ambari 01 简介

是什么?

Ambari是apache下的一个开源项目,致力于让hadoop集群管理更加简单。它开发了丰富的RESTful APIs,以及一套直观易用的WebUI管理界面。
它主要是由Cloudera公司参与贡献开发的(可以查看https://ambari.apache.org/team-list.html)。

功能

它提供了:

  • provision 必要组件供配(安装)的功能
    • 一步接一步的安装面板进行组件安装
    • 帮助大数据运维工程师管理集群上所有服务的配置,配置是版本化的。
  • managing 管理集群上的组件
    • 启动
    • 关闭
    • 更新配置
  • monitoring 监控集群上的组件
    • 提供了一个Dashboard(面板)监控并可用来展示集群监控和集群状态
    • 运用了AMS(Ambari Metrics System)进行监控指标收集
    • 运用了AAF(Ambari Alert Framework)进行系统告警,同时通知运维人员集群状态。

使用

目前主要是Cloudera公司使用了Ambari打包封装提供了一些企业版本的产品,如HDP(Hortonworks Data Platform),CDP(Cloudera Data Platform),CDF(Cloudera DataFlo)。CDF前身为HDF(Hortonworks DataFlow)。

HDP vs HDF

HDP可以简单理解为一个HadoopCluster Platform,就是一个大数据的存储和计算平台,关注在HDFS, Yarn以及一些计算引擎的(比如Spark/Tez)管理。

HDF(DataFlow)这个包含Nifi组件(Nifi是一个数据迁移搬运的流式处理框架),更多关注点在于如何把大量的,多种格式的数据,以高效可控的方式导入到大数据存储层。

所以,我们经常会看HDP + HDF 组合在一起的集成大数据平台。

下一篇会展示一个使用Ambari搭建的集群,可以先关注,第一时间查看后续更新。

参考链接:
https://community.cloudera.com/t5/Support-Questions/differences-between-hdp-Hortonworks-Data-Platform-and-hdf/td-p/220101
https://cwiki.apache.org/confluence/display/AMBARI/Quick+Start+Guide
https://docs.cloudera.com/HDPDocuments/Ambari-2.7.5.0/bk_ambari-installation/content/ch_Getting_Ready.html

以上是关于大数据组件 - Ambari 01 简介的主要内容,如果未能解决你的问题,请参考以下文章

大数据之Ambari2.7+HDP3.0(一)

大数据王者之路 - Ambari 02 架构简介

大数据王者之路 - Ambari 02 架构简介

ambari 搭建hadoop大数据平台系列6-验证测试

使用Ambari快速部署Hadoop大数据环境

原创大数据基础之Ambari简介安装使用