SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉
Posted bread-wang
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉相关的知识,希望对你有一定的参考价值。
cron任务:每隔1分钟启动脚本,检查进程是否运行。crontab -e
*/1 * * * * /data/spark/test.sh
检查进程,如果进程挂掉,重新启动Spark任务:
#!/bin/sh is_Engine_exist=$(ps aux | grep LbsStreamingEngineTJ | grep -v grep | wc -l) if [ $is_Engine_exist = 0 ];then echo ‘Process Engine is down‘ echo ‘Bring Engine up‘ strDate=`date +%Y%m%d%H%M%S` strStart="start Engine ${strDate}" echo "${strStart}" >> /data1/log.txt nohup /data1/spark-1.6.0/bin/spark-submit --master spark://localhost:7077 --name LbsStreamingEngineTJ --class com.datafactory.streaming.LbsStreamingEngineTJ --executor-memory 512m --total-executor-cores 2 /data1/work/datafactory-0.1.0-SNAPSHOT1023.jar & echo ‘Bring Engine finished ‘ else strDate=`date +%Y%m%d%H%M%S` strRun="running ${strDate}" echo "${strRun}" >> /data1/log.txt fi
以上是关于SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉的主要内容,如果未能解决你的问题,请参考以下文章
Django 1.9 + celery + django-celry 实现定时任务