0759-Kafka2.3性能测试

Posted 2021-05-02 Hadoop实操

文档编写目的

了解Kafka的性能指标可以很好的帮助你规划Kafka集群，但使用不同的消息大小，保留时间(retention periods)，分区，复制因子，网络速度，甚至是同步还是异步都可能影响到对Kafka集群的硬件配置和大小的规划。几年前，Linkedin做过一个Kafka的基准测试，参考：

https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

因为这篇文章是2014年写的，经过这6年，Kafka发展更新了很多版本，新的硬件或更快的网速都能对Kafka的性能带来提升。本文会基于之前同样的测试案例，但使用较新的Kafka2.3以及更好的硬件来重新进行测试，以看看新版本的Kafka带来了什么改进。

硬件规格

一共6个测试节点，其中3个节点会被作为Kafka Broker，还有三个节点会作为producers / consumers。假设网络带宽是10Gb/s，我们应该能在三个Kafka节点上推送近30Gb/s，在所有6个节点上推送60Gb/s。

为了简化测试，我设置了一些环境变量，这样运行的每个命令都可以重复使用：

BOOTSTRAP=10.0.0.4:9092,10.0.0.5:9092,10.0.0.6:9092

首先，我们需要根据分区数和副本创建各种topic：

kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-rep-one --partitions 6 --replication-factor 1
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-rep-three --partitions 6 --replication-factor 3
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-7k --partitions 18 --replication-factor 3

Kafka附带了两个方便的脚本，可用于测试集群：kafka-producer-perf-test和kafka-consumer-perf-test

测试结果

上面的这些测试案例与之前Linkedin在2014的测试是一样的。但是由于之前的测试是使用100byte大小的记录完成的，下面我们使用7KB大小的记录来重新测试，并且对Kafka的配置进行一些优化：8GB的heap，更大的batch size，并使用snappy压缩。

7KB记录的测试结果

超过每秒100万条消息，每条消息读写7KB。已经达到了万兆网的限制。

测试命令如下：

Test 1:
kafka-producer-perf-test --topic test-rep-one --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP} 

Test 2:
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}

Test 3:
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=1 bootstrap.servers=${BOOTSTRAP}

Test 4 (run three instances in parallel, one on each node):
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}

Test 5:
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-rep-three --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 6

Test 6 (run three instances in parallel, one on each node):
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-rep-three --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 6

Test 7 (run a producer on each node, including the Kafka brokers):
kafka-producer-perf-test --topic test-7k --num-records 50000000 --record-size 7168 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP} linger.ms=100 compression.type=snappy

Test 8 (run a consumer on each node, including the Kafka brokers):
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-7k --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 18

原文参考：

https://community.cloudera.com/t5/Community-Articles/Kafka-2-3-Performance-testing/ta-p/284767