客快物流大数据项目(三十五)：CDH使用注意

Posted 2022-02-21 Lansonli

目录

CDH使用注意

一、HDFS使用前配置

二、​​​​​​​Kafka使用前配置

---

CDH使用注意

一、​​​​​​​HDFS使用前配置

默认情况下，CDH的HDFS服务是开启权限检查的，为方便使用HDFS，需先将HDFS的dfs.permissions选项取消选中，保存后重启HDFS服务。最终的配置如下：

二、​​​​​​​Kafka使用前配置

CDH-6.2.1中的Kafka默认offsets.topic.replication.factor为3，但实际上Kafka的Broker数量为1，会导致创建主题时虽然指定了--replication-factor=1和--partitions=1会导致生产消息成功，但无法接收消息的情况，在CM的管理界面中，如果直接修改offsets.topic.replication.factor=1是无法保存的，需要我们手动在Kafka服务的配置文件中修改才能生效，修改方式如下：

操作步骤	说明
1	vi /var/run/cloudera-scm-agent/process/115-KAFKA-kafka-KAFKA_BROKER-8daa17cc7adbeef4134b312fdd60b3d1-RoleDiagnostics/kafka.properties
2	找到offsets.topic.replication.factor配置，设置为1
3	保存配置，退出vi编辑器
4	在CM管理页面中，重启Kafka实例，即可正常使用
	修改前的设置：
	修改后的设置：

---

• 📢博客主页：https://lansonli.blog.csdn.net
• 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
• 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
• 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨