我们如何使用 Ambari 安装 Apache BigTop?

Posted

技术标签:

【中文标题】我们如何使用 Ambari 安装 Apache BigTop?【英文标题】:How do we install Apache BigTop with Ambari? 【发布时间】:2021-04-05 21:28:43 【问题描述】:

我正在尝试通过使用 apache big top 了解如何使用 ambari 部署 hadoop 集群

根据最新发布的 bigtop 1.5: https://blogs.apache.org/bigtop/

我的理解是 Bigtop Mpack 是作为一项新功能添加的,它使用户能够 通过 Apache Ambari 部署 Bigtop 组件。

我可以通过命令行安装 Bigtop 组件,但没有找到任何关于如何通过 ambari 安装这些 bigtop hadoop 组件的文档。

谁能帮我重定向到一些文档,告诉我如何通过 ambari 安装各种 hadoop 组件(bigtop 包)?

谢谢,

【问题讨论】:

【参考方案1】:

我来自 Bigtop 社区。虽然我没有一个全面的答案。 Bigtop 用户邮件列表最近进行了一次讨论,其中有几个技术细节可以回答您的问题:

https://lists.apache.org/thread.html/r8c5d8dfdee9b7d72164504ff2f2ea641ce39aa02364d60917eaa9fa5%40%3Cuser.bigtop.apache.org%3E

OTOH,随时欢迎您加入邮件列表并提出问题。我们的社区很活跃,很乐意回答问题。

【讨论】:

【参考方案2】:
    建立一个repo of Big Top 要使用 Ambari 安装该 repo,您​​必须register the stack/version。您将需要创建一个版本文件。我找到了一个here 的示例。 像使用普通版本一样完成安装

这是高度理论化的(..以前没有这样做过..)我之前曾使用过 BIGTOP Mpack 处理过其中的一些工作,但它还没有准备好生产,并且可以与旧版本的 Ambari 一起使用,而不是最新的。 (我能够安装/停止/启动 HDFS/Hive)。上面的这些说明应该适用于任何版本的 Ambari。

【讨论】:

【参考方案3】:

我已经能够使用虚拟机测试 Matt Andruff 的理论。这是我的过程,也是我停止的地方;

    构建 Apache BigTop 1.5.0 的 repo 使用 Gradlew 构建 BigTop 在我的系统上安装了 Apache Ambari 2.6.1 启用 BigInsights 构建版本 xml 文件并修改包版本号以匹配我的 Bigtop 构建

注意:您也可以按照 Matt 提到的方式构建自己的版本文件

    设置一个网络服务器来托管您的软件包仓库 将您的 xml 版本文件存储库指向您的本地网络服务器以获取软件包

从那里您可以像往常一样完成软件包的安装。

到目前为止,我只使用单个 VM 完成了此操作,并且将在接下来的几周内尝试使用 AWS 启动一个小型集群。

【讨论】:

以上是关于我们如何使用 Ambari 安装 Apache BigTop?的主要内容,如果未能解决你的问题,请参考以下文章

Apache Ambari 过时 PID 错误

原创大数据基础之Ambari简介安装使用

Ambari2.6.1集成Apache Kylin服务

apache ambari 部署分布式系统

Ambari 安装

Build and install Ambari 2.7.5