kafka控制台默认不能发送大数据
Posted 九师兄
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka控制台默认不能发送大数据相关的知识,希望对你有一定的参考价值。
本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。
文章目录
1.概述
因为某些原因,需要做一个测试,然后我想往topic中,发送一条消息,然后再消费它。但是消息有点大,一条消息是36K.
消费者
[root@1 kafka]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic xxx.devicealarm | grep 网络攻击
生产者,生产者发送了一个消息消息是一个json,json中有这个数据特征 网络攻击
[root@1 kafka]# bin/kafka-console-producer.sh --broker-list 1.kafka1:9092 --topic xxx.devicealarm
这里发送一个36K的数据json
然后在上面的消费者居然没消费到。
然后我用代码测试,发送消息
以上是关于kafka控制台默认不能发送大数据的主要内容,如果未能解决你的问题,请参考以下文章
kafka通过控制台模拟消息发送和消息接收正常,但是通过javaAPI操作生产者发送消息不成功 消费者接收不到数据解决方案?
大数据Spark“蘑菇云”行动代码学习之AdClickedStreamingStats模块分析
大数据-消息队列-Kafka:Producer(生产者)发送消息采用的是异步发送两个线程:main线程和Sender线程线程共享变量:双端队列RecordAccumulator