[Spark]-Streaming-调优

Posted 2020-12-04 nightpxy

1.概述

　　Spark Streaming的主要应用方向是实时计算.这代表一个Spark Streaming应用必然是对执行性能和运行稳定性(7 x 24)有一定要求的

2.性能

　　在性能方面,主要是合理的利用的集群资源,设置正确的批处理大小(提升并行度)和减少每个批次的处理时间(计算逻辑优化).以让数据流处理的能像接受一样快

　　2.1 调整Spark配置参数

　　2.2 数据接收优化

　　　　一个Spark Streaming 应用的开端便是数据接收,那么性能调优的第一步就是保证:数据不会在数据接收器端产生积压.

　　　　2.2.2 设置良好的数据接收器间隔

　　　　2.2.1 提升数据接收的并行度