Spark Streaming实时处理应用
Posted hd-zg
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark Streaming实时处理应用相关的知识，希望对你有一定的参考价值。
1 框架一览
??事件处理的架构图如下所示。
2 优化总结
??当我们第一次部署整个方案时，kafka和flume组件都执行得非常好，但是spark streaming应用需要花费4-8分钟来处理单个batch。这个延迟的原因有两点，一是我们使用DataFrame来强化数据，而强化数据需要从hive中读取大量的数据； 二是我们的参数配置不理想。
??为了优化我们的处理时间，我们从两方面着手改进：第一，缓存合适的数据和分区；第二，改变配置参数优化spark应用。运行spark应用的spark-submit命令如下所示。通过参数优化和代码改进，我们显著减少了处理时间，处理时间从4-8分钟降到了低于25秒。
/opt/app/dev/spark-1.5.2/bin/spark-submit --jars /opt/cloudera/parcels/CDH/jars/zkclient-0.3.jar,/opt/cloudera/parcels/CDH/jars/kafka_2.10-0.8.1.1.jar,/opt/app/dev/jars/datanucleus-core-3.2.2.jar,/opt/app/dev/jars/datanucleus-api-jdo-3.2.1.jar,/opt/app/dev/jars/datanucleus-rdbms-3.2.1.jar --files /opt/app/dev/spark-1.5.2/conf/hive-site.xml,/opt/app/dev/jars/log4j-eir.properties --queue spark_service_pool --master yarn --deploy-mode cluster --conf "spark.ui.showConsoleProgress=false" --conf "spark.driver.extraJavaOptions=-XX:MaxPermSize=6G -XX:+UseConcMarkSweepGC -Dlog4j.configuration=log4j-eir.properties" --conf "spark.sql.tungsten.enabled=false" --conf "spark.eventLog.dir=hdfs://nameservice1/user/spark/applicationHistory" --conf "spark.eventLog.enabled=true" --conf "spark.sql.codegen=false" --conf "spark.sql.unsafe.enabled=false" --conf "spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC -Dlog4j.configuration=log4j-eir.properties" --conf "spark.streaming.backpressure.enabled=true" --conf "spark.locality.wait=1s" --conf "spark.streaming.blockInterval=1500ms" --conf "spark.shuffle.consolidateFiles=true" --driver-memory 10G --executor-memory 8G --executor-cores 20 --num-executors 20 --class com.bigdata.streaming.OurApp /opt/app/dev/jars/OurStreamingApplication.jar external_props.conf
??下面我们将详细介绍这些改变的参数。
2.1 driver选项
??这里需要注意的是，driver运行在spark on yarn的集群模式下。因为spark streaming应用是一个长期运行的任务，生成的日志文件会很大。为了解决这个问题，我们限制了写入日志的消息的条数， 并且用RollingFileAppender限制了它们的大小。我们也关闭了spark.ui.showConsoleProgress选项来禁用控制台日志消息。
??通过测试，我们的driver因为永久代空间填满而频繁发生内存耗尽（永久代空间是类、方法等存储的地方，不会被重新分配）。将永久代空间的大小升高到6G可以解决这个问题。
spark.driver.extraJavaOptions=-XX:MaxPermSize=6G
2.2 垃圾回收
??因为我们的spark streaming应用程序是一个长期运行的进程，在处理一段时间之后，我们注意到GC暂停时间过长，我们想在后台减少或者保持这个时间。调整UseConcMarkSweepGC参数是一个技巧。
--conf "spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC -Dlog4j.configuration=log4j-eir.properties"
2.3 禁用Tungsten
??Tungsten是spark执行引擎主要的改进。但是它的第一个版本是有问题的，所以我们暂时禁用它。
spark.sql.tungsten.enabled=false
spark.sql.codegen=false
spark.sql.unsafe.enabled=false
2.4 启用反压
??Spark Streaming在批处理时间大于批间隔时间时会出现问题。换一句话说，就是spark读取数据的速度慢于kafka数据到达的速度。如果按照这个吞吐量执行过长的时间，它会造成不稳定的情况。 即接收executor的内存溢出。设置下面的参数解决这个问题。
spark.streaming.backpressure.enabled=true
2.5 调整本地化和块配置
??下面的两个参数是互补的。一个决定了数据本地化到task或者executor等待的时间，另外一个被spark streaming receiver使用对数据进行组块。块越大越好，但是如果数据没有本地化到executor，它将会通过网络移动到 任务执行的地方。我们必须在这两个参数间找到一个好的平衡，因为我们不想数据块太大，并且也不想等待本地化太长时间。我们希望所有的任务都在几秒内完成。
??因此，我们改变本地化选项从3s到1s，我们也改变块间隔为1.5s。
--conf "spark.locality.wait=1s" --conf "spark.streaming.blockInterval=1500ms"
2.6 合并临时文件
??在ext4文件系统中，推荐开启这个功能。因为这会产生更少的临时文件。
--conf "spark.shuffle.consolidateFiles=true"
2.7 开启executor配置
??在你配置kafka Dstream时，你能够指定并发消费线程的数量。然而，kafka Dstream的消费者会运行在相同的spark driver节点上面。因此，为了从多台机器上面并行消费kafka topic， 我们必须实例化多个Dstream。虽然可以在处理之前合并相应的RDD，但是运行多个应用程序实例，把它们都作为相同kafka consumer group的一部分。
??为了达到这个目的，我们设置20个executor，并且每个executor有20个核。
--executor-memory 8G
--executor-cores 20
--num-executors 20
2.8 缓存方法
??使用RDD之前缓存RDD，但是记住在下次迭代之前从缓存中删除它。缓存那些需要使用多次的数据非常有用。然而，不要使分区数目过大。保持分区数目较低可以减少，最小化调度延迟。下面的公式是我们使用的分区数的计算公式。
# of executors * # of cores = # of partitions
以上是关于Spark Streaming实时处理应用的主要内容，如果未能解决你的问题，请参考以下文章
大数据Spark Streaming实时处理Canal同步binlog数据
Spark Streaming实时流处理项目实战Spark Streaming整合Flume实战二