SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉

Posted bread-wang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉相关的知识,希望对你有一定的参考价值。

cron任务:每隔1分钟启动脚本,检查进程是否运行。crontab -e

*/1 * * * * /data/spark/test.sh

检查进程,如果进程挂掉,重新启动Spark任务:

#!/bin/sh
is_Engine_exist=$(ps aux | grep LbsStreamingEngineTJ | grep -v grep | wc -l)
 
if [ $is_Engine_exist = 0 ];then
 
        echo ‘Process Engine is down‘
 
        echo ‘Bring Engine up‘
 
        strDate=`date +%Y%m%d%H%M%S`
 
        strStart="start Engine ${strDate}"
 
        echo "${strStart}" >> /data1/log.txt
 
        nohup /data1/spark-1.6.0/bin/spark-submit --master  spark://localhost:7077 --name LbsStreamingEngineTJ --class com.datafactory.streaming.LbsStreamingEngineTJ --executor-memory 512m --total-executor-cores 2 /data1/work/datafactory-0.1.0-SNAPSHOT1023.jar &
 
        echo ‘Bring Engine finished ‘
 
else
 
        strDate=`date +%Y%m%d%H%M%S`
 
        strRun="running ${strDate}"
 
        echo "${strRun}" >> /data1/log.txt
 
fi

 

以上是关于SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉的主要内容,如果未能解决你的问题,请参考以下文章

sparkStreaming运行yarn,提交任务报错

Android 后台任务执行

如何开发Windows定时任务?

Django 1.9 + celery + django-celry 实现定时任务

Spark 实战系列sparkstreaming 任务出现堆积如何优化?(流量突然大增资源不够怎么办?)

Spark 实战系列sparkstreaming 任务出现堆积如何优化?(流量突然大增资源不够怎么办?)