supervisor配置文件(详细说明)

Posted 2023-04-23

参考技术A

supervisor 安装启动

Windows-INI-style (Python ConfigParser)类型文件，包含以 [header] 标记开头的模块和这个模块里一系列的key/value键值对

supervisord启动时使用的环境变量，用的是python %(ENV_X)s 字符串表达式语法格式

[unix_http_server] 模块下配置了需要监听UNIX domain socket的http服务的配置参数；如果在conf文件里没有配置这个模块，那需要监听UNIX domain socket的supervisorctl就不会被启动

  1. file : supervisor为HTTP/XML-RPC请求监听UNIX domain socket的路径（socket文件路径）； supervisorctl 通过这个文件完成与supervisor的交流；这个选项可以用 %(here)s ，如果用 %(here)s 这个值，那么会直接扩展到supervisord的配置文件所在目录
   这个关键字默认不配置，也不是必须要配置的，但是要注意，如果 supervisor.sock 文件被删除或者没有配置，supervisorctl就不能连接到supervisord，也就不能用suepervisorctl控制进程了，例如下面这个错误：

  2. chmod : socket文件权限的指定，默认是0700
  3. chown : 改变socket文件的用户和组，默认使用启动supervisord的用户和用户组
  4. username : supervisorctl连接supervisord时的授权用户，默认无指定用户
  5. password : supervisorctl连接supervisord时的授权密码，默认无密码；密码既可以是纯文本密码，也可以是带有 SHA 前缀的SHA-1的哈希，例如： SHA82ab876d1387bfafe46cc1c8a2ef074eae50cb1d

[unix_http_server] 这个模块配置是监听TCP socket的配置，如果.conf里面没有配置这个模块，inet的http服务就不会启动，那web server和remote supervisorctl就不能使用；
这个模块默认未开启状态 ，如果需要启用这个模块需要绝对信任的环境——应该绑定localhost或者只能通过一个可信赖的独立网络访问，inet的http服务不支持任何形式的加密，不能使用默认认证方式；
inet的http服务可以被supervisorctl远程控制，也可以通过web界面的方式控制子进程，查看log，但是不可以把inet的http服务暴露在公共网络里面

  1. port : 一个tcp的host:port配置，例如 127.0.0.1:9001 ，supervisorctl会通过这个端口和supervisord交流；无默认配置
  2. username 和 password : 与 [unix_http_server] 模块下的 username && password 作用相同

这个模块配置了supervisord进程有关的全局配置，这个默认可以不配置，但是不配置时，supervisord运行可能会出现问题

  1. logfile ：默认值： $CWD/supervisord.log ，指定supervisord进程的log文件的路径，也可以直接用 %(here)s ；如果指定了log文件&&需要做log滚动（根据log大小限制生成新的log文件）的话，必须配置 logfile_maxbytes > 0
  2. logfile_maxbytes : 默认50MB，配置日志滚动的log字节数限制， KB/MB/GB 这些单位都是可以用的，如果配置为0，则认为log文件不限制大小，不做log滚动
  4. logfile_backups : 备份保留log个数，默认保留最近10个，如果设置为0就不做任何备份
  5. loglevel : log级别：默认记录info级别的日志，可选： critical||error||warn||info||debug||trace||blather ；如果指定日志记录为debug级别，supervisord 的log文件里会记录子进程的输入输出，也会记录进程状态改变的信息，在某个进程启动异常做调试的时候比较方便
  6. pidfile : supervisord的pid文件路径，默认 $CWD/supervisord.pid ，也可以使用 %(here)s
  7. umask : supervisord进程的文件权限掩码，默认 022
  8. nodaemon : 设置这个选项为 true 的时候，会在前台启动supervisor，默认flase
  8. minfds : supervisor启动前要求的最小空闲文件描述符数值，supervisord启动时对硬件和软件资源的要求，低于这个最低值，supervisor无法启动；如果supervisord基于root用户启动，硬件限制会有所提高，所以指定要求的资源限制最低值，可以确保程序运行过程中不会造成资源耗尽的情况，默认值是1024
  9. minprocs : supervisord启动时，系统中最小可用进程数的配置，低于当前数值，supervisord不会启动；默认值=200
  10. nocleanup : 默认false，如果想避免supervisord启动时“auto”路径下的清理子进程的log文件可以设置为true
  11. childlogdir : 子进程的“auto” log文件目录，默认取的是python的 tempfile.get_tempdir() 路径，也可以用 %(here)s
  12. user : 在做进程管理之前，supervisord需要转变用户使用指定的unix用户（默认是当前用户），支持这个配置的前提是supervisord使用root用户启动
  PS：3.3.4版本以后，如果supervisord不能转换到指定用户，会记录错误信息到log里然后立即退出；之前的版本会记 critical log，但是程序可以继续运行
  13. directory : supervisord作为守护进程的时候，会转换路径到这个dictionary，默认不配置，可以使用 %(here)s
  14. strip_ansi : 清除子进程log文件中的ANSI内容，默认不清除
  15. environment : supervisord进程启动环境中的环境变量配置，是 KEY="val",KEY2="val2" 这样一系列的key-value键值对，如果键值对的value值包含一些非标准字符，例如 KEY="val:123",KEY2="val,456" 这种一定要用""括起来，最好的话还是使用转义减少问题
  16. identifier : RPC交互使用的supervisor进程的声明，默认值= supervisor

使用supervisorctl和supervisord交互的配置

  1. serverurl : 访问supervisord服务的url： unix:///absolute/path/to/file.sock ；默认配置 http://localhost:9001
  2. username 和 password : 访问supervisord服务时的身份认证用户和密码， username 需要和supervisord的用户是同一个，默认是不配置的；需要注意的是，如果使用 password ，就必须设置密码为纯文本字符串，这里不支持SHA hash格式的密码
  3. prompt : supervisorctl 命令行标识符，默认 supervisor
  4. history_file : 历史文件的路径，如果启用这个配置指定文件路径，那么supervisorctl的历史命令会被保存在这个文件里面，并且可以命令查看之前supervisorctl session的历史记录，默认不配置

这个模块在配置文件中至少要有1个，是必须要有的模块，可以有多个，这个模块告诉supervisord 需要控制的服务项目有哪些；模块的头部是 program:接项目名 组成的，后面的名字就是supervisord控制的服务名，后面supervisorctl就是直接通过这个服务名称来做进程管理；
如果一个program没有指定名字，或者不是用 : 指定的，supervisod启动时会直接失败；
新版本（3.0）中，一个 [program:x] 将会被supervisor看做是一个同类进程组，这一系列进程组通过 numprocs 和 process_name 定义在配置文件中，当然默认情况下还是一个program就只是一个单独的进程，以便更好的兼容历史版本；

testMul这个program就是一个进程组，包含了相同命令启动的三个进程：testMul_00、testMul_01、testMul_02

以 [include] 开头的一个模块，这模块一旦配置，必须包含 files 这个配置，指定额外的配置文件要包含在当前配置中；
这个模块只有supervisord用，supervisorctl不会用到

   1. files : 一个隔离开来的文件系列，每个系列里的文件可以是独立的，也可以实现相互关联的，直接包含就可以了；这个所谓的一个系列，需要根据unix的使用规则指定一定的模式，然后用 *||?||[] 这种匹配模式去匹配，包含 host_node_name||here 的字符喜欢表达式也是可以的；
   没有默认值，启用模块必须配置

这个模块通常是做组进程管理的，将多个[program:x]放到一个进程中管理，为了把一组program作为一个整体进行管理，就要在配置[group:x]的时候，必须填好programs的配置项，指定你要绑定在一起的programs们；
模块命名与program一样的，header错误会导致启动失败
一个group模块下可以配置多个programs；

   1. programs : 成组的programs
   2. priority : 优先级

supervisor允许在配置文件里指定进程组（“事件监听池”）的，这些进程可能需要接受或者回应supervisor事件系统的事件提醒，eventlistener做的就是订阅这些事件做监听

   1. 支持 [program:x] 下除了stdout_capture_maxbytes的所有可选配置项
   2. buffer_size : 事件监听池里时间序列的缓存大小，当一个事件监听池发生溢出时，就会丢弃缓存中最旧的事件
   3. events : 逗号分隔的事件类型列表，只出需要监听的进程的的哪些事件
   4. result_handler : 一个python回调函数pkg_resources模块的入口，默认 supervisor.dispatchers:default_handler

只用于扩展supervisor额外的用户定制行为

supervisor详解

1.什么是supervisor
supervisor是用python写的一个进程管理工具，用来启动，重启，关闭进程。

2.supervisor的安装

pip install supervisor

3.supervisor的配置文件
supervisor安装完毕后，会有一个配置文件supervisord.conf
运行echo_supervisord_conf命令，可输出文件详细
我们使用重定向运算符将配置文件定向到/etc路径下（方便管理）

echo_supervisord_conf>/etc/supervisord.conf

4.配置文件详解

[unix_http_server]
file=/tmp/supervisor.sock ; UNIX socket 文件，supervisorctl 会使用
;chmod=0700 ; socket 文件的 mode，默认是 0700
;chown=nobody:nogroup ; socket 文件的 owner，格式： uid:gid

;[inet_http_server] ; HTTP 服务器，提供 web 管理界面
;port=127.0.0.1:9001 ; Web 管理后台运行的 IP 和端口，如果开放到公网，需要注意安全性
;username=user ; 登录管理后台的用户名
;password=123 ; 登录管理后台的密码

[supervisord]
logfile=/tmp/supervisord.log ; 日志文件，默认是 $CWD/supervisord.log
logfile_maxbytes=50MB ; 日志文件大小，超出会 rotate，默认 50MB
logfile_backups=10 ; 日志文件保留备份数量默认 10
loglevel=info ; 日志级别，默认 info，其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ; pid 文件
nodaemon=false ; 是否在前台启动，默认是 false，即以 daemon 的方式启动
minfds=1024 ; 可以打开的文件描述符的最小值，默认 1024
minprocs=200 ; 可以打开的进程数的最小值，默认 200

; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; 通过 UNIX socket 连接 supervisord，路径与 unix_http_server 部分的 file 一致
;serverurl=http://127.0.0.1:9001 ; 通过 HTTP 的方式连接 supervisord

; 包含其他的配置文件
[include]
files = relative/directory/*.ini ; 可以是 *.conf 或 *.ini

5.进程Program配置

[program:usercenter]
directory = /home/leon/projects/usercenter ; 程序的启动目录
command = gunicorn -c gunicorn.py wsgi:app ; 启动命令，可以看出与手动在命令行启动的命令是一样的
autostart = true ; 在 supervisord 启动的时候也自动启动
startsecs = 5 ; 启动 5 秒后没有异常退出，就当作已经正常启动了
autorestart = true ; 程序异常退出后自动重启
startretries = 3 ; 启动失败自动重试次数，默认是 3
user = leon ; 用哪个用户启动
redirect_stderr = true ; 把 stderr 重定向到 stdout，默认 false
stdout_logfile_maxbytes = 20MB ; stdout 日志文件大小，默认 50MB
stdout_logfile_backups = 20 ; stdout 日志文件备份数
; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile = /data/logs/usercenter_stdout.log

; 可以通过 environment 来添加需要的环境变量，一种常见的用法是修改 PYTHONPATH
; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere
将进程配置添加到supervisord.conf文件中
推荐将各个进程配置放到单独的文件中，然后通过[include]配置项引用

[include]
files = /etc/supervisor/*.conf

6.supervisor服务启动
运行命令,启动服务

supervisord -c /etc/supervisord.conf

若服务已启动会报错,查找服务进程，kill，重新运行

7.supervisor服务客户端管理
可以使用supervisord的命令行客户端管理工具supervisorctl，来管理进程。

$ supervisorctl status
$ supervisorctl stop usercenter
$ supervisorctl start usercenter
$ supervisorctl restart usercenter
$ supervisorctl reread
$ supervisorctl update

8.supervisor web管理界面

;[inet_http_server] ; HTTP 服务器，提供 web 管理界面
;port=127.0.0.1:9001 ; Web 管理后台运行的 IP 和端口，如果开放到公网，需要注意安全性
;username=user ; 登录管理后台的用户名
;password=123 ; 登录管理后台的密码

在浏览器中输入http://127.0.0.1:9001，可进入web管理界面

9.Linux开机自启动
1)Centos
新建supervisord.service文件

[Unit]
Description=Supervisor daemon

[Service]
Type=forking
ExecStart=/usr/bin/supervisord -c /etc/supervisord.conf
ExecStop=/usr/bin/supervisorctl shutdown
ExecReload=/usr/bin/supervisorctl reload
KillMode=process
Restart=on-failure
RestartSec=42s

[Install]
WantedBy=multi-user.target

放入/etc/systemd/system目录下

将服务加入，移除开机自启动
systemctl enable supervisord
systemctl disable supervisord

手动启动关闭redis
systemctl start supervisord
systemctl stop supervisord
systemctl restart supervisord

2)Ubuntu
编辑/etc/rc.local文件，加入

/usr/local/bin/supervisord

保存并退出，/etc/rc.local添加可执行权限

chmod +x /etc/rc.local