CentOS7安装CDH 第九章：CDH中安装Kafka

Posted 2021-11-30 yangshibiao

相关文章链接

 

1. CDH官网Kafka的安装教程网址

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r

2. 下载对应的Kafka版本

1、查看CDH和Kafka的版本对应列表：

查看网址：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

2、因为安装的CDH版本为5.10或5.12，故选择的Kafka版本为2.2.x和0.10.2，此时去网站找到对应的Kafka版本：

网址：https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html#concept_fzg_phl_br

3、点击对应的下载地址，下载该Kafka的parcel包（需更改sha1的后缀名）：

3. 安装Kafka服务

1、将Kafka的parcel包（3个文件）上传到/var/www/html/kafka_parcel目录下，需配置好https服务，请参考上述CDH安装时的方法配置，在浏览器上能访问到如下场景即可：

2、点击CDH主页面中的主机下面的Parcel按钮：

3、点击Parcel界面的配置按钮，配置Kafka的地址，该地址默认是官网地址，但在CDH的离线安装时已将所有的在线地址删除，所以在这加上Kafka的Parcel包的离线地址即可：

4、在Parcel界面，点击Kafka的下载按钮：

5、依次执行Kafka的分配和激活：

4. 将Kafka服务添加到CDH中

1、在CDH的主界面点击添加服务按钮，并选择Kafka服务：

2、给Kafka分配节点（Kafka后面2个服务一般情况下不选）：

3、Kafka的配置文件进行配置：

a)  配置Kafka的文件存放目录，因为Kafka是依赖Zookeeper的，所以Kafka的文件也是存放在Zookeeper的目录中，如果要卸载Kafka时，需要将这些Kafka的文件也删除，所以可以把Kafka的文件存放在一个目录中：

Kafka的文件存放目录：

进入Zookeeper的文件管理界面（命令行）：

b) 因为Kafka是一个消息中间键，有将生产者生产的信息进行缓存的操作，所以在配置Kafka的数据存储目录时需要注意，将数据存放到一个比较大的磁盘中，该数据存放的目录如下配置所示：

c) 在卸载重装Kafka时，需要将Zookeeper目录下的Kafka文件，以及Kafka数据存放的目录都清空，请注意是每个节点都要清空，否则不能重装。

4、启动Kafka服务，会发现Kafka服务不能成功启动，报错如下：

此时为主机的内存不足，返回Kafka配置文件界面，修改memory中的Java Heap Size of Broker值为512M（如果机器内存充足，可以再大一些），如下：

修改之后去CDH的主界面重启Kafka，启动成功，如下所示：