从 HDF 3.4 通过 HDP 3.1 安装时如何获得适当的 Kafka 版本

Posted

技术标签:

【中文标题】从 HDF 3.4 通过 HDP 3.1 安装时如何获得适当的 Kafka 版本【英文标题】:How to get appropriate Kafka version when installing it from HDF 3.4 over HDP 3.1 【发布时间】:2019-09-14 02:52:28 【问题描述】:

我正在构建一个要安装 HDP 和 HDF 的 Hortonworks 集群。我首先安装了 HDP,然后在其上安装/集成了 HD​​F。

环境细节: 操作系统:Red Hat Enterprise Linux Server 7.6 版(迈坡) 版本:Ambari -2.7.3、HDP - 3.1、HDF -3.4.0

基本上 HDP-3.1 在包中有 kafka 1.0.1,在 HDF 中有 kafka 2.1.0 包可用,我需要 HDF 版本的 Kafka 可用。虽然我从 HDF 安装了 Kafka,但 Ambari 显示了 1.0.1 的 kafka 版本。与 HDF 集成后,添加服务列表中没有显示 Kafka-2.1.0。

我想知道,如何在集群中安装 Kafka 2.1.0。

另外,虽然安装了 Kafka 2.1.0,但显示的版本是否有可能是 1.0.1。

【问题讨论】:

【参考方案1】:

虽然安装了 Kafka 2.1.0,但显示的版本是否有可能是 1.0.1

怀疑。 Ambari 解析机器上安装的包以确定版本

我的建议是手动 SSH 到每台机器并尝试从 yum 安装 Kafka 并查看可用的版本。

如果您正确设置了 HDF YUM 存储库,那么该版本的 Kafka 应该可用。

或者,您始终可以在外部安装 Kafka/Zookeeper 并在 Ambari 之外对其进行管理

【讨论】:

以上是关于从 HDF 3.4 通过 HDP 3.1 安装时如何获得适当的 Kafka 版本的主要内容,如果未能解决你的问题,请参考以下文章

2017.4.17 HDP和HDF

将 Apache NiFi 添加到现有的 Hortonworks HDP 集群

无头模式下 HDP 3.1 上的 spark 3.x 与配置单元 - 未找到配置单元表

如何在不使用 HDP 3.1 中的仓库连接器的情况下将表从 spark 中写入 hive

使用pyhdf时如何处理py2和py3中不同类型的np.array(list)?

3.4-3.6 Hive Storage Format