使用java代码连接不上kafka的解决方案(生产者与消费者都没能连上)

Posted 陳小新

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用java代码连接不上kafka的解决方案(生产者与消费者都没能连上)相关的知识,希望对你有一定的参考价值。

1.把代码中的localhost改为服务器IP:

这一步很重要!!!经过多次修改尝试之后,修改了这个地方之后终于实现了用java和kafka进行通信,但是是在后面几个方案修改之上最后解决的。

在没有改为IP之前,有一个明显的感觉就是程序执行的很慢,比如循环发送消息时,间隔时间很长。改为IP之后,就执行的很快了。

2.在使用java代码与kafka通信前,需要先修改一下server.propertes文件:

进入kafka的config目录下使用下面命令修改:

vi server.properties

进入编辑状态后找到下面这个属性

把your.host.name改为你的虚拟机ip:(记得把注释放开!!!!)

3. 关闭防火墙

先查看防火墙的状态(centos7):

禁止firewall:

禁止firewall开机启动:

关闭防火墙之后再查看状态:

4. vi server.properties

添加上红框部分。

Java开发实战!mysql查询数据库连接数

第1章快速入门

1.1 Kafka简介

1.2 以Kafka为中心的解决方案

1.3 Kafka核心概念

1.4 Kafka源码环境

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

第2章生产者

2.1 KafkaProducer 使用示例

2.2 KafkaProducer 分析

  • ProducerInterceptors&cProducerInterceptor
  • Kafka 集群元数据
  • Serializer&Deserializer
  • Partitioner

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

2.3 RecordAccumulator分析

  • MemoryR ecords
  • RecordBatch
  • BufferPool
  • RecordAccumulator

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

2.4 Sender分析

  • 创建请求
  • KSelector
  • InFlightRequests
  • MetadataUpdater
  • NetworkClient

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

第3章消费者

3.1 KafkaConsumer 使用示例

3.2 传递保证语义( Delivery guarantee semantic )

3.3 Consumer Group Rebalance设计

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

3.4 KafkaConsumer 分析

  • ConsumerNetworkC lient
  • SubscriptionState
  • ConsumerCoordinator.
  • PartitionAssignor 分析
  • Heartbeat 分析
  • Rebalance 实现
  • offset 操作
  • Fetcher
  • KafkaConsumer 分析总结

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

第4章Kafka服务端

4.1 网络层

  • Reactor模式
  • SocketServer
  • AbstractServer Thread
  • Acceptor
  • Processor
  • RequestChannel

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

4.2 API层

KafkaR equestHandler

KafkaApis

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

4.3 日志存储

  • 基本概念
  • FileMessageSet
  • ByteBufferMessageSet
  • OfsetIndex
  • LogSegment
  • Log
  • LogManager

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

4.4 DelayedOperationPurgatory 组件

  • TimingWheel
  • SystemTimer
  • Delayed Dperation
  • DelayedOperationPurgatory
  • DelayedProduce
  • DelayedFetch

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

4.5 副本机制

  • 副本
  • 分区
  • ReplicaManager

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

4.6 KafkaController

  • ControllerChannelManager
  • ControllerContext
  • ControllerBrokerRequestBatch
  • PartitionStateMachine
  • PartitionLeaderSelector
  • ReplicaStateMachine
  • ZooKeeper Listener
  • KafkaController 初始化与故障转移
  • 处理ContolledShutdownRequest

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

4.7 GroupCoordinator

  • GroupMetadataManager
  • GroupCoordinator分析

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

4.8 身份认证与权限控制

  • 配置SASL/PLAIN认证
  • 身份认证
  • 权限控制

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

4.9 Kafka 监控

  • JMX 简介
  • Metrics简介
  • Kafka中的Metrics
  • Kafka的监控功能
  • 监控KSelector的指标

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

第5章Kafka Tool

5.1 kafka-server-start 脚本

5.2 kafka-topics 脚本

  • 创建Topic
  • 修改Topic

5.3kafka-preferred-replica-election脚本

5.4 kafka-reassign-partitions 脚本

5.5 kafka-console -producer脚本

5.6 kafka-console-consumer脚本

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

5.7 kafka-consumer-groups脚本

5.8 DumpLogSegments

5.9 kafka-producer-perf-test 脚本

5.10 kafka-consumer-perf-test脚本

5.11kafka-mirror-maker脚本

就这一次!拼多多内部架构师培训Kafka源码笔记(现已绝版)

最后:学习总结——MyBtis知识脑图(纯手绘xmind文档)

学完之后,若是想验收效果如何,其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图,这样也可方便后续的复习,且都是自己的理解,相信随便瞟几眼就能迅速过完整个知识,脑补回来。下方即为我手绘的MyBtis知识脑图,由于是xmind文件,不好上传,所以小编将其以图片形式导出来传在此处,细节方面不是特别清晰。但可给感兴趣的朋友提供完整的MyBtis知识脑图原件(包括上方的面试解析xmind文档)

image

除此之外,前文所提及的Alibaba珍藏版mybatis手写文档以及一本小小的MyBatis源码分析文档——《MyBatis源码分析》等等相关的学习笔记文档,也皆可分享给认可的朋友!

资料领取方式:戳这里免费下载

[外链图片转存中…(img-apzO2YYY-1626678666337)]

除此之外,前文所提及的Alibaba珍藏版mybatis手写文档以及一本小小的MyBatis源码分析文档——《MyBatis源码分析》等等相关的学习笔记文档,也皆可分享给认可的朋友!

资料领取方式:戳这里免费下载

以上是关于使用java代码连接不上kafka的解决方案(生产者与消费者都没能连上)的主要内容,如果未能解决你的问题,请参考以下文章

Kafka的Java客户端-生产者

Java开发实战!mysql查询数据库连接数

Java开发实战!mysql查询数据库连接数

Java测试远程连接Kafka,实现生产者和消费者,发现两者数据不通?

hbase连接java时,zookeeper总是连接不上,但是确实已经启动,每次连接,都报错

从外部连接kafka的问题