如何使用 Django 运行自己的守护进程?
Posted
技术标签:
【中文标题】如何使用 Django 运行自己的守护进程?【英文标题】:How to run own daemon processes with Django? 【发布时间】:2011-12-30 16:26:45 【问题描述】:在我的 Django 项目中,我必须在后台反复进行一些处理。 这个处理需要访问 Django 的东西,所以我把它放到 Django 的命令中并作为 cronjob 运行。 现在我意识到,我必须更频繁地执行其中一些操作(cronjob 最多每 1 分钟调用一次命令)。另一个问题是我没有足够的控制权来保护一次运行相同的命令。当一个处理时间超过一分钟时,就会发生这种情况。 我认为我应该像守护进程一样运行它们,但我正在寻找使用 Django 的纯粹方法。 你有没有遇到过这个问题或知道任何干净的解决方案?
【问题讨论】:
【参考方案1】:我无法理解 Celery 网站上的文档。我找到了this site。这很好地解释了一些事情。我在使用 django-1.5+Celery-3.0.17+sqlite3 的 centos 6.2 系统上工作。我遇到的唯一麻烦是找到设置模块时出错,我必须将其更改为“myprojectname.settings”。
第 1 步。 在 /etc/default/celeryd 中创建以下脚本。请注意,您将需要根据您的系统更改某些内容。
# Name of nodes to start, here we have a single node
CELERYD_NODES="w1"
# Where to chdir at start.
CELERYD_CHDIR="/var/www/some_folder/Myproject/"
# Python interpreter from environment, if using virtualenv
ENV_PYTHON="/somewhere/.virtualenvs/MyProject/bin/python"
# How to call "manage.py celeryd_multi"
CELERYD_MULTI="$ENV_PYTHON $CELERYD_CHDIR/manage.py celeryd_multi"
# How to call "manage.py celeryctl"
CELERYCTL="$ENV_PYTHON $CELERYD_CHDIR/manage.py celeryctl"
# Extra arguments to celeryd
CELERYD_OPTS="--time-limit=300 --concurrency=8"
# Name of the celery config module, don't change this.
CELERY_CONFIG_MODULE="celeryconfig"
# %n will be replaced with the nodename.
CELERYD_LOG_FILE="/var/log/celery/%n.log"
CELERYD_PID_FILE="/var/run/celery/%n.pid"
# Workers should run as an unprivileged user.
CELERYD_USER="celery"
CELERYD_GROUP="celery"
# Set any other env vars here too!
PROJET_ENV="PRODUCTION"
# Name of the projects settings module.
# in this case is just settings and not the full path because it will change the dir to
# the project folder first.
export DJANGO_SETTINGS_MODULE="settings"
步骤 2. 在 /etc/default/celeryd 中创建以下脚本并更改其权限
chmod +x /etc/init.d/celeryd
这个不需要修改。 Source
#!/bin/sh -e
# ============================================
# celeryd - Starts the Celery worker daemon.
# ============================================
#
# :Usage: /etc/init.d/celeryd start|stop|force-reload|restart|try-restart|status
# :Configuration file: /etc/default/celeryd
#
# See http://docs.celeryq.org/en/latest/cookbook/daemonizing.html#init-script-celeryd
### BEGIN INIT INFO
# Provides: celeryd
# Required-Start: $network $local_fs $remote_fs
# Required-Stop: $network $local_fs $remote_fs
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: celery task worker daemon
### END INIT INFO
#set -e
DEFAULT_PID_FILE="/var/run/celeryd@%n.pid"
DEFAULT_LOG_FILE="/var/log/celeryd@%n.log"
DEFAULT_LOG_LEVEL="INFO"
DEFAULT_NODES="celery"
DEFAULT_CELERYD="-m celery.bin.celeryd_detach"
# /etc/init.d/celeryd: start and stop the celery task worker daemon.
CELERY_DEFAULTS=$CELERY_DEFAULTS:-"/etc/default/celeryd"
test -f "$CELERY_DEFAULTS" && . "$CELERY_DEFAULTS"
if [ -f "/etc/default/celeryd" ]; then
. /etc/default/celeryd
fi
CELERYD_PID_FILE=$CELERYD_PID_FILE:-$CELERYD_PIDFILE:-$DEFAULT_PID_FILE
CELERYD_LOG_FILE=$CELERYD_LOG_FILE:-$CELERYD_LOGFILE:-$DEFAULT_LOG_FILE
CELERYD_LOG_LEVEL=$CELERYD_LOG_LEVEL:-$CELERYD_LOGLEVEL:-$DEFAULT_LOG_LEVEL
CELERYD_MULTI=$CELERYD_MULTI:-"celeryd-multi"
CELERYD=$CELERYD:-$DEFAULT_CELERYD
CELERYCTL=$CELERYCTL:="celeryctl"
CELERYD_NODES=$CELERYD_NODES:-$DEFAULT_NODES
export CELERY_LOADER
if [ -n "$2" ]; then
CELERYD_OPTS="$CELERYD_OPTS $2"
fi
CELERYD_LOG_DIR=`dirname $CELERYD_LOG_FILE`
CELERYD_PID_DIR=`dirname $CELERYD_PID_FILE`
if [ ! -d "$CELERYD_LOG_DIR" ]; then
mkdir -p $CELERYD_LOG_DIR
fi
if [ ! -d "$CELERYD_PID_DIR" ]; then
mkdir -p $CELERYD_PID_DIR
fi
# Extra start-stop-daemon options, like user/group.
if [ -n "$CELERYD_USER" ]; then
DAEMON_OPTS="$DAEMON_OPTS --uid=$CELERYD_USER"
chown "$CELERYD_USER" $CELERYD_LOG_DIR $CELERYD_PID_DIR
fi
if [ -n "$CELERYD_GROUP" ]; then
DAEMON_OPTS="$DAEMON_OPTS --gid=$CELERYD_GROUP"
chgrp "$CELERYD_GROUP" $CELERYD_LOG_DIR $CELERYD_PID_DIR
fi
if [ -n "$CELERYD_CHDIR" ]; then
DAEMON_OPTS="$DAEMON_OPTS --workdir=\"$CELERYD_CHDIR\""
fi
check_dev_null()
if [ ! -c /dev/null ]; then
echo "/dev/null is not a character device!"
exit 1
fi
export PATH="$PATH:+$PATH:/usr/sbin:/sbin"
stop_workers ()
$CELERYD_MULTI stop $CELERYD_NODES --pidfile="$CELERYD_PID_FILE"
start_workers ()
$CELERYD_MULTI start $CELERYD_NODES $DAEMON_OPTS \
--pidfile="$CELERYD_PID_FILE" \
--logfile="$CELERYD_LOG_FILE" \
--loglevel="$CELERYD_LOG_LEVEL" \
--cmd="$CELERYD" \
$CELERYD_OPTS
restart_workers ()
$CELERYD_MULTI restart $CELERYD_NODES $DAEMON_OPTS \
--pidfile="$CELERYD_PID_FILE" \
--logfile="$CELERYD_LOG_FILE" \
--loglevel="$CELERYD_LOG_LEVEL" \
--cmd="$CELERYD" \
$CELERYD_OPTS
case "$1" in
start)
check_dev_null
start_workers
;;
stop)
check_dev_null
stop_workers
;;
reload|force-reload)
echo "Use restart"
;;
status)
$CELERYCTL status $CELERYCTL_OPTS
;;
restart)
check_dev_null
restart_workers
;;
try-restart)
check_dev_null
restart_workers
;;
*)
echo "Usage: /etc/init.d/celeryd start|stop|restart|try-restart|kill"
exit 1
;;
esac
exit 0
步骤 3. 使用这些命令来启动、停止等脚本。
# to start celeryd
/etc/init.d/celeryd start
# to stop
/etc/init.d/celeryd stop
# see the status
/etc/init.d/celeryd status
# print the log in the screen
cat /var/log/celery/w1.log
如果您有问题,网站上有很多 cmets 和其他建议。希望它能保持很长时间。
【讨论】:
【参考方案2】:您可以尝试使用胖控制器,它可以接受任何脚本并将其守护。它还可以以秒为单位的间隔重复运行脚本,甚至根本没有间隔,这样可以防止同时运行两个实例。
它完全用 C 语言编写,因此非常稳定,可以连续运行数月或数年 - 无论您自己的脚本可能会崩溃多少。它也很容易启动和运行。
它还可以做更多的事情,例如并行运行脚本,甚至根据工作量调整并行实例的数量——但我想这超出了你的要求。
网站上有大量用例和详细说明。如果您需要任何进一步的帮助,请联系我们或提交支持请求,我会尽快回复您。
网址是:http://fat-controller.sourceforge.net/
【讨论】:
【参考方案3】:我们采用了更简单的方法 - 将脚本编写为具有无限循环的普通脚本,该循环遍历查询集,然后使用 supervise
将其作为守护程序进行管理。基本上,这都是运行守护进程所需要的:-
$ sudo apt-get install daemontools daemontools-run
$ mkdir /etc/service/sendmsevad
$ echo -> /etc/service/sendmsevad/run
#!/bin/bash
exec /usr/local/bin/sendmsgd
$ sudo svc -d /etc/service/sendmsgd
$ sudo svc -u /etc/service/sendmsgd
$ sudo svstat /etc/service/sendmsgd
/etc/service/sendmsg: up (pid 10521) 479 seconds
更多信息 - How do I daemonize an arbitrary script in unix?
现在,/usr/local/bin/sendmsgd
可能看起来像:-
def main(args=None):
while True:
process_messages()
time.sleep(10)
if __name__ == '__main__':
import signal
def signal_handler(signal, frame):
sys.exit(0)
signal.signal(signal.SIGINT, signal_handler)
main(sys.argv)
【讨论】:
【参考方案4】:我们使用 Celery http://celeryproject.org/ 为 django 进行了大量后台处理。它需要一些努力来设置,并且有一点学习曲线,但是一旦启动并运行它就非常棒了。
【讨论】:
这里也一样。 RabbitMQ + Celery + django-celery。 根据您的经验,对于 Django 中的简单消息队列来说,Celery 是否有点矫枉过正?我之前研究过它,虽然它运行良好,但我认为这对于我的特定用例来说意义重大。你同意还是我忽略了什么?在上面建议的 OP 中使用守护进程有什么缺点吗? 取决于“简单消息队列”的定义 - 是的 ;) 计划作业与守护进程不同。 @lxer,如果您阅读了问题标题之外的内容,您会意识到 OP 并没有真正询问守护进程,而是为了更好地替代这个 cron 设置。在提供对提问者有用的答案时,上下文很重要。以上是关于如何使用 Django 运行自己的守护进程?的主要内容,如果未能解决你的问题,请参考以下文章
如何使 Python 脚本像 Linux 中的服务或守护程序一样运行
如何使 systemd 杀死或停止重生 rsyslog 守护进程
在 Elastic Beanstalk 上使用 Supervisor 和 Django 将 Celery 作为守护进程运行