kafka控制台默认不能发送大数据

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka控制台默认不能发送大数据相关的知识,希望对你有一定的参考价值。

本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。

文章目录


1.概述

因为某些原因,需要做一个测试,然后我想往topic中,发送一条消息,然后再消费它。但是消息有点大,一条消息是36K.

消费者

[root@1 kafka]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic xxx.devicealarm | grep 网络攻击

生产者,生产者发送了一个消息消息是一个json,json中有这个数据特征 网络攻击

[root@1 kafka]# bin/kafka-console-producer.sh --broker-list 1.kafka1:9092 --topic xxx.devicealarm
这里发送一个36K的数据json

然后在上面的消费者居然没消费到。

然后我用代码测试,发送消息

以上是关于kafka控制台默认不能发送大数据的主要内容,如果未能解决你的问题,请参考以下文章

kafka通过控制台模拟消息发送和消息接收正常,但是通过javaAPI操作生产者发送消息不成功 消费者接收不到数据解决方案?

百万级数据量Kafka发送

log4j2发送消息至Kafka

大数据Spark“蘑菇云”行动代码学习之AdClickedStreamingStats模块分析

MySQL系列:kafka停止命令

大数据-消息队列-Kafka:Producer(生产者)发送消息采用的是异步发送两个线程:main线程和Sender线程线程共享变量:双端队列RecordAccumulator