kafka如何保证顺序性

Posted 2023-04-16

参考技术A 1.Kafka 可以保证同一个分区里的消息是有序的。也就是说消息发送到一个Partition 是有顺序的。

kafka系列-kafka多分区的情况下保证数据的有序性 - weixin_41279060的博客 - CSDN博客

这篇文章解决的本质还是将相同数据发送到一个Partition中，注意发送消息可以指定分区。

java math.abs(x)是取绝对值

2.参数设置

retires  设为大于1

max.in.flight.request.per.connection 设为1

max.in.flight.requests.per.connection意思

指定了生产者在接收到服务器响应之前可以发送多个消息，值越高，占用的内存越大，当然也可以提升吞吐量。发生错误时，可能会造成数据的发送顺序改变,默认是5 。

解释：max.in.flight.request.per.connection 设为1的时候也就是说只接受1条数据当接受到2而1没有收到则会从

retires  重新获取，这样就会等1到了再取请求2数据。

的解决办法通常是最为保守的方式：

全局使用一个生产者

全局使用一个消费者（并严格到一个消费线程）

全局使用一个分区（当然不同的表可以使用不同的分区或者topic实现隔离与扩展）

同一key分发到同一partition上面.

private int partitionDefine(String keyToPartition)

if (keyToPartition == null)

return new Random().nextInt(numPartitions);

else

return Math.abs(keyToPartition.hashCode()) % numPartitions;

Kafka如何保证消息的顺序性

1. 问题

比如说我们建了一个 topic，有三个 partition。生产者在写的时候，其实可以指定一个 key，比如说我们指定了某个订单 id 作为 key，那么这个订单相关的数据，一定会被分发到同一个 partition 中去，而且这个 partition 中的数据一定是有顺序的。
消费者从 partition 中取出来数据的时候，也一定是有顺序的。到这里，顺序还是 ok 的，没有错乱。接着，我们在消费者里可能会搞多个线程来并发处理消息。因为如果消费者是单线程消费处理，而处理比较耗时的话，比如处理一条消息耗时几十 ms，那么 1 秒钟只能处理几十条消息，这吞吐量太低了。而多个线程并发跑的话，顺序可能就乱掉了。

2. 解决方案

• 一个 topic，一个 partition，一个 consumer，内部单线程消费，单线程吞吐量太低，一般不会用这个。
• 写 N 个内存 queue，具有相同 key 的数据都到同一个内存 queue；然后对于 N 个线程，每个线程分别消费一个内存 queue 即可，这样就能保证顺序性。