我们如何使用 Ambari 安装 Apache BigTop?
Posted
技术标签:
【中文标题】我们如何使用 Ambari 安装 Apache BigTop?【英文标题】:How do we install Apache BigTop with Ambari? 【发布时间】:2021-04-05 21:28:43 【问题描述】:我正在尝试通过使用 apache big top 了解如何使用 ambari 部署 hadoop 集群
根据最新发布的 bigtop 1.5: https://blogs.apache.org/bigtop/
我的理解是 Bigtop Mpack 是作为一项新功能添加的,它使用户能够 通过 Apache Ambari 部署 Bigtop 组件。
我可以通过命令行安装 Bigtop 组件,但没有找到任何关于如何通过 ambari 安装这些 bigtop hadoop 组件的文档。
谁能帮我重定向到一些文档,告诉我如何通过 ambari 安装各种 hadoop 组件(bigtop 包)?
谢谢,
【问题讨论】:
【参考方案1】:我来自 Bigtop 社区。虽然我没有一个全面的答案。 Bigtop 用户邮件列表最近进行了一次讨论,其中有几个技术细节可以回答您的问题:
https://lists.apache.org/thread.html/r8c5d8dfdee9b7d72164504ff2f2ea641ce39aa02364d60917eaa9fa5%40%3Cuser.bigtop.apache.org%3E
OTOH,随时欢迎您加入邮件列表并提出问题。我们的社区很活跃,很乐意回答问题。
【讨论】:
【参考方案2】:-
建立一个repo of Big Top
要使用 Ambari 安装该 repo,您必须register the stack/version。您将需要创建一个版本文件。我找到了一个here 的示例。
像使用普通版本一样完成安装
这是高度理论化的(..以前没有这样做过..)我之前曾使用过 BIGTOP Mpack 处理过其中的一些工作,但它还没有准备好生产,并且可以与旧版本的 Ambari 一起使用,而不是最新的。 (我能够安装/停止/启动 HDFS/Hive)。上面的这些说明应该适用于任何版本的 Ambari。
【讨论】:
【参考方案3】:我已经能够使用虚拟机测试 Matt Andruff 的理论。这是我的过程,也是我停止的地方;
-
构建 Apache BigTop 1.5.0 的 repo
使用 Gradlew 构建 BigTop
在我的系统上安装了 Apache Ambari 2.6.1
启用 BigInsights 构建版本 xml 文件并修改包版本号以匹配我的 Bigtop 构建
注意:您也可以按照 Matt 提到的方式构建自己的版本文件
-
设置一个网络服务器来托管您的软件包仓库
将您的 xml 版本文件存储库指向您的本地网络服务器以获取软件包
从那里您可以像往常一样完成软件包的安装。
到目前为止,我只使用单个 VM 完成了此操作,并且将在接下来的几周内尝试使用 AWS 启动一个小型集群。
【讨论】:
以上是关于我们如何使用 Ambari 安装 Apache BigTop?的主要内容,如果未能解决你的问题,请参考以下文章