RHEL 7 上的 Apache Bigtop 安装

Posted 2023-04-18

【中文标题】RHEL 7 上的 Apache Bigtop 安装

【英文标题】：Apache Bigtop Installation on RHEL 7

【发布时间】：2017-07-25 21:35:01

【问题描述】：

我正在寻求帮助，我的任务是在工作中建立一个 Hadoop 集群。我已经在家里的笔记本电脑上使用开源堆栈完成了单节点的工作（我试图坚持使用开源的 Apache 堆栈以避免任何许可成本。现在我们对 Cloudera 或 HortonWorks 没有兴趣。）。

我遇到了 Apache BigTop 堆栈 (1.2.0) 并在那里四处寻找。现在我仍在试图围绕它提供的内容（我还没有找到对 Hadoop/Spark 版本等的参考）。我可以在以下方面获得一些帮助吗：

1.2.0版本提供了哪些Hadoop/Spark/其他工具？

在 RHEL 7 下从头开始安装完整的 Hadoop/Spark 集群是否有很好的参考？我有 12 台服务器，我计划做 2 个名称节点和 10 个数据节点。 BigTop 适合这个，还是我应该只安装每个包并手动配置？

我发现了以下内容：

https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop+1.2.0

这看起来很有希望，但它适用于 CentOS 7，我知道它是相似的，但并不完全相同。有人可以建议我如何修改它以在 RHEL 7 下工作吗？我找到了 repos，但没有找到 RHEL....

官方 Apache 页面上的文档似乎很薄，或者我只是没有找到正确的位置...是否有完整的集群安装参考的良好链接？

感谢所有可以提供帮助的人，我真的很感激！

【参考方案1】：

1.2.0版本提供了哪些Hadoop/Spark/其他工具？

查看我们的 1.2.0 版本文档：

https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

您将获得开箱即用的 hadoop 2.7.3 和 spark 2.1.0。我们在 S3 上提供了可安装的工件供您测试功能

https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo

注意：我们将在 2017 年 10 月 15 日有效地进行 S3 迁移。之后我们将进行相应的更改。如果您想尽快尝试。请将baseurl更改为：

http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64

是否有关于在 RHEL 7 下从头开始安装完整 Hadoop/Spark 集群的良好参考资料？我有 12 台服务器，我计划做 2 个名称节点和 10 个数据节点。 BigTop 适合这个吗，还是我应该只安装每个包并手动配置？

RHEL 和 CentOS 应该非常相似。我建议：

直接在 RHEL 上试用我们的 CentOS 软件包，看看是否可行。我在生产环境中的 RHEL 6 上使用了 Bigtop CentOS 6 软件包，它的工作原理非常棒。 如果上述方法不起作用，Bigtop 是一个完全开源的解决方案，供您构建自己的 Hadoop 发行版。您可以针对您想要的 Distro 构建整个堆栈。从头开始。我们精心设计了工具和 dockerlized 框架来支持它。如果您要这样做，请在 [e-mail] 邮件列表中提出您的需求。我们很乐意提供帮助。

我发现了以下内容： https://cwiki.apache.org/confluence/display/BIGTOP/Bigtop+1.2.0+Release

是的。您正在寻找合适的文档。这正是我上面提到的：虽然它适用于 CentOS 7，但您可以尝试 RHEL 7 上的 repo。