Ubuntu16.04下CDH 5.14.0 集群使用parcel包的方式接入KAFKA

Posted 2023-02-03 Lee_Sung

1、查看kafka与CDH的版本对应

https://docs.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

2、下载parcel包和kafka的jar包
（1）centos下载el系列，我的CDH版本是5.14.0，搭建在ubuntu16.04上，所以下,4.1.0的xenial的包，相应的“.sha1”文件和manifest.json文件。

http://archive.cloudera.com/kafka/parcels/latest/
注意：要把“.sha1”文件的后缀重命名为“.sha”。网上的文章也有的说要在manifest.json中找到该parcel对应的hash，用来替换sha文件中hash值，但是我发现sha文件中已经使用了对应的hash，无需再操作。

（2）kafka的jar包下载地址，下载KAFKA-1.2.0.jar

http://archive.cloudera.com/csds/kafka/

3、上传parcel和jar
（1）上传CSD包KAFKA-1.2.0.jar，到服务器CDH目录下，路径为/opt/cloudera/csd。（根据自己的集群情况来，没有csd目录就新建一个）
（2）上传parcel相关的3个包到/opt/cloudera/parcel-repo目录下（注意提前备份manifest.json文件）

4、重启cm服务，查看主机情况

#在master节点上（Admin）重启服务
cd /opt/cm-5.14.0/etc/init.d/
./cloudera-scm-server restart

进入7180端口的集群管理web，选择“主机”——“Parcel”，可以看到未被分配的Kafka的parcel

5、安装parcel
（1）点击“分配”


（2）分配完成后点击“激活”


6、添加服务
（1）点击添加服务

（2）选择Kafka，继续

（3）选择集群中的主机，对角色进行分配

（4）配置kafka
ZooKeeper Root的值填“/kafka”

填写Destination Brokers List 若添加了Kafka MirrorMaker，则可填写其所在节点构成的列表,若未添加Kafka MirrorMaker，可填写任意服务器即可，如下：master:9092;salve1:9092;salve2:9092

填写Kafka Broker所在节点构成的列表（用逗号/分号分隔），如下（我在所有节点部署了Kafka Broker）master:9092;salve1:9092;salve2:9092

（5）继续，等待完成

（6）配置kafka的内存。

最后重启服务