大数据王者之路 - Ambari 01 简介

Posted 2021-09-15 雷学委

大数据组件 - Ambari 01 简介

是什么？

Ambari是ASF(Apache Software Foundation)中的一个项目，并且是一个顶级项目，致力于让Hadoop集群管理更加简单。它开发了丰富的RESTful APIs，以及一套直观易用的WebUI管理界面。
大数据集群除了我们常见的Hadoop，集群内还有Hive，Hbase，Sqoop，Zookeeper等。因为大数据这个坑里，组件特别的多，一个一个安装配置很麻烦，所以社区孵化了Ambari。就 Ambari的作用来说，就是创建、管理、监视大数据集群，让组件更容易整合进来。

它主要是由Cloudera公司参与贡献开发的（可以查看https://ambari.apache.org/team-list.html）。

功能

它提供了：

• provision 必要组件供配（安装）的功能
  • 一步接一步的安装面板进行组件安装
  • 帮助大数据运维工程师管理集群上所有服务的配置，配置是版本化的。
• managing 管理集群上的组件
  • 启动
  • 关闭
  • 更新配置
• monitoring 监控集群上的组件
  • 提供了一个Dashboard（面板）监控并可用来展示集群监控和集群状态
  • 运用了AMS（Ambari Metrics System）进行监控指标收集
  • 运用了AAF（Ambari Alert Framework）进行系统告警，同时通知运维人员集群状态。

使用

目前主要是Cloudera公司使用了Ambari打包封装提供了一些企业版本的产品，如HDP（Hortonworks Data Platform），CDP（Cloudera Data Platform），CDF(Cloudera DataFlo）。CDF前身为HDF（Hortonworks DataFlow）。

HDP vs HDF

HDP可以简单理解为一个HadoopCluster Platform，就是一个大数据的存储和计算平台，关注在HDFS， Yarn以及一些计算引擎的（比如Spark/Tez）管理。

HDF（DataFlow）这个包含Nifi组件（Nifi是一个数据迁移搬运的流式处理框架），更多关注点在于如何把大量的，多种格式的数据，以高效可控的方式导入到大数据存储层。

所以，我们经常会看HDP + HDF 组合在一起的集成大数据平台。

后续学委会展示一个使用Ambari搭建的集群，可以先关注，第一时间查看后续更新。

持续学习持续开发，我是雷学委！
编程很有趣，关键是把技术搞透彻讲明白。
创作不易，请多多支持，点赞收藏支持学委吧！

参考链接：
https://community.cloudera.com/t5/Support-Questions/differences-between-hdp-Hortonworks-Data-Platform-and-hdf/td-p/220101
https://cwiki.apache.org/confluence/display/AMBARI/Quick+Start+Guide
https://docs.cloudera.com/HDPDocuments/Ambari-2.7.5.0/bk_ambari-installation/content/ch_Getting_Ready.html