SparkStreaming性能调优大全！

Posted 2020-08-19

SparkStreaming性能调优大全！

一、日志已满：

 spark.executor.logs.rolling.maxSize 

下面三个日志rolling参数记得设置： 

spark.executor.logs.rolling.strategy size 

spark.executor.logs.rolling.maxSize 134217728 #default byte 

spark.executor.logs.rolling.maxRetainedFiles 

二、Spark Streamingz对Kafka的Offset进行管理

zookeeper.session.timeout.ms

一般跳大3~5倍。

http://geeks.aretotally.in/spark-streaming-kafka-direct-api-store-offsets-in-zk/

http://www.tuicool.com/articles/vaUzquJ

三、 spark.task.maxFailures 

默认4，调整10左右

四、spark.streaming.kafka.maxRetries

默认1，调成3或者5

五、Spark Streaming连接Kafka用Direct方式。