Spark 实战系列sparkstreaming 中使用 StreamingListener 完成程序的异常报警功能
Posted JasonLee实时计算
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 实战系列sparkstreaming 中使用 StreamingListener 完成程序的异常报警功能相关的知识，希望对你有一定的参考价值。
sparkstreaming 中使用 StreamingListener 完成程序的异常报警功能
上一篇文章中说了 StreamingListener 的使用,可以自己获取到很多的信息,比如程序的处理延迟,调度延迟,在流式的任务中,报警是非常重要的,比如程序运行延迟太大,或者调度延迟变大,都会对程序的稳定性造成影响,我们需要及时的知道这些信息,做出相应的处理,下面就来看一下如何基于 StreamingListener 完成对 sparkstreaming 程序异常的监控报警功能(代码还是之前的)。
DEMO
package spark
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.log4j以上是关于Spark 实战系列sparkstreaming 中使用 StreamingListener 完成程序的异常报警功能的主要内容，如果未能解决你的问题，请参考以下文章
Spark 实战系列sparkstreaming 中使用 StreamingListener 完成程序的异常报警功能
Spark 实战系列sparkstreaming 中使用 StreamingListener 完成程序的异常报警功能
Spark 实战系列sparkstreaming 任务出现堆积如何优化?(流量突然大增资源不够怎么办?)