使用uWSGI和Nginx来设置Django和你的Web服务器 -- 2019-08-08 20:39:49

Posted gqy02

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用uWSGI和Nginx来设置Django和你的Web服务器 -- 2019-08-08 20:39:49相关的知识,希望对你有一定的参考价值。

原文: http://106.13.73.98/__/101/

@
***

补充

查所有已安装的pip包:

pip3.6 list

将当前环境中所有的Python包导入到文件内:

pip3.6 freeze > test.txt

将文件内所有的Python包安装到当前环境:

pip3.6 install -r test.txt

所谓WSGI
.
WSGI是Web服务器网关接口,它是一个规范,描述了Web服务器如何与Web应用程序通信,以及如何与Web应用程序链接在一起处理一个请求(接收请求、处理请求、响应请求).
.
基于wsgi运行的框架有Bottle、Django、Flask,用于解析动态HTTP请求.
.
---------??
支持WSGI的服务器
.
wsgiref
Python自带的服务器.
.
Gunicorn
用于Linux的python wsgi Http服务器,常用于各种Django、Flask结合部署服务器.
.
mode_wsgi
实现了Apache与wsgi应用程序的结合.
.
uWSGI
C语言开发,快速,自我修复,开发人员友好的WSGI服务器,用于Python Web应用程序的专业部署和开发.
---------??
.
在部署Python程序的Web应用程序时,可以根据性能的需求,选择合适的wsgi server,不同的wsgi server区别在于并发支持上,有单线程、多进程、多线程、协程的区别,其功能相似,无非是请求路由,执行对应的函数,返回处理结果.

关于Django环境中的wsgi.py文件
技术图片
上图是Django环境中的wsgi.py文件.
.
Django的主要部署平台是WSGI,其用于Web服务器和应用程序的Python标准.
.
Django的startproject管理命令设置一个简单的默认WSGI设置,可以根据需求为我们的项目进行调整,并指示任何符合WSGI的应用程序服务器使用.
.
application使用WSGI部署的关键概念是应用程序服务器用于与代码通信的application可调用,它通常在服务器可访问的Python模块中作为名为application的对象提供.
.
startproject命令创建包含这样的application可调用的文件:
<project_name>/wsgi.py,它被Django的开发服务器和生产WSGI部署使用,WSGI服务器从其配置中获取application可调用的路径。Django的内置服务器,即runserver命令,从WSGI_APPLICATION设置读取它.

为什么使用nginx,uWSGI
.
首先,nginx是对外的服务接口,外部浏览器通过url访问nginx.
.
然后,nginx接收到浏览器发送过来的http请求,将包进行解析并分析url。如果是静态文件请求就访问用户给nginx配置的静态文件目录,直接返回用户请求的静态文件,如果不是静态文件请求(即动态请求),那么nginx就将请求转发给uwsgi,uwsgi接收到请求之后将包进行处理,处理成wsgi可以接收的格式,并发给wsgi。wsgi根据请求调用应用程序中的某个文件,或者某个文件中的某个函数,最后处理完将返回值再次交给wsgi,wsgi将返回值进行打包,打包成uwsgi能够接收的格式,uwsgi接收wsgi发送的请求,并转发给nginx,nginx最终将返回值返回给浏览器.
.
最后,要知道第一级的nginx并不是必须的,uwsgi完全可以完成整个的和浏览器交互的流程,但是要考虑到下面3种情况.
.
1.安全问题
程序不能直接被浏览器访问到,而是通过nginx,nginx只开发某个接口.
uwsgi本身是内网接口,这样运维人员在nginx中加上安全性的限制,可以达到保护程序的作为.
.
2.负载均衡问题
一个uwsgi很可能不够用,即使开多个work也是不行,毕竟一台机器的cpu和内存是有限的.
而使用nginx做代理,一个nginx可以代理多台uwsgi完成uwsgi的负载均衡.
.
3.静态文件问题
用Django或是uwsgi来负责静态文件的处理是很浪费的行为,它们本身对文件的处理也不如nginx,所以整个静态文件的处理都直接由nginx完成,静态文件的访问完全不去经过uwsgi以及其后面的逻辑.

nginx官网:http://nginx.org/en/
nginx有关uwsgi模块的介绍:http://nginx.org/en/docs/http/ngx_http_uwsgi_module.html
***

下面将对Nginx、WSGI、uwsgi、uWSGI、Django之间的关系进行梳理.
.
---------??
wsgi
全称web server gateway interface,wsgi不是服务器,也不是Python模块,而是一种通信协议.
其用于描述web server如何与web application进行通讯.
运行在wsgi上的web框架有Bottle、Flask、Django.
.
uwsgi
与wsgi一样,是通信协议,是uWSGI服务器的单独协议,用于定义传输信息的类型.
.
uWSGI
是一个web服务器,实现了WSGI协议,uwsgi协议.
.
Nginx
web服务器,更加安全,更好的处理静态资源,缓存功能,负载均衡.
nginx的强劲性能,配合我WSGI服务器会更加安全,性能有保障.
.
Django
高级的Python框架,用于快速开发,解决web开发的大部分麻烦,程序员可以更加专注于业务逻辑,无序重新造轮子.
---------??
.
逻辑图:
技术图片
---------??
web服务器
传统的C/S架构,请求的过程是:
客户端 > 服务器
服务器 > 客户端
服务器就是:1.接收请求 2.处理请求 3.返回响应
.
web框架层
HTTP的动态数据交给web框架,例如Django遵循MTV模式处理请求.
HTTP协议使用url定位资源,urls.py将路由请求交给views视图处理,然后返回一个结果,完成一次请求.
web框架使用者只需要处理业务的逻辑即可.
---------??
.
如果将一次通信转化为“对话”的过程:
Nginx:“Hello WSGI,我刚收到了一个请求,你准备下,然后让Django来处理吧。”
WSGI:“好的,Nginx,我马上设置环境变量,然后把请求交给Django。”
Django:“谢谢 WSGI,我处理完请求马上给你响应结果。”
WSGI:“好的,我在等。”
Django:“搞定啦,麻烦WSGI把响应结果传递给Nginx。”
WSGI:“Very good Nginx,响应结果请收好,已经按照要求传递给你了。”
Nginx:“好的,我这就把响应结果交给客户,合作愉快。”

***

安装使用uWSGI

安装uWSGI

# 进入虚拟环境,安装uWSGI
(venv) [root@master ~]# pip3.6 install uwsgi

# 检查uWSGI版本
(venv) [root@master ~]# uwsgi --version
2.0.17.1

# 检查uWSGI Python版本
(venv) [root@master ~]# uwsgi --python-version
3.6.7

运行简单的uWSGI

test.py文件如下:

def application(env, start_response):
    start_response('200 OK', [('Content-Type', 'text/html')])
    return [b'Hello World']  # Python3

运行命令如下:

uwsgi --http :8000 --wsgi-file test.py

"""参数详解:
--http :8000  -> 使用http协议,端口8000
--wsgi-file test.py  -> 加载test.py文件
"""

运行后,可从浏览器访问:
技术图片
***

uWSGI运行Django环境
.
----------------------------------
通过命令运行Django环境

# 在项目根目录下执行如下命令
uwsgi --http :8000 --module project.wsgi

"""参数详解:
--http :8000  -> 使用http协议,端口8000
----module  -> 加载project项目下的wsgi模块
"""

.
----------------------------------
使用脚本运行Django环境
.
uWSGI支持inixml等多种配置方式.
这里将以ini为例,在/etc/目录下新建uwsgi_nginx.ini配置文件,如下:

# 项目配置文件
[uwsgi]

# 项目的绝对路径 定位到第一层
chdir = /root/project

# 指定项目的wsgi文件路径(从项目的根路径开始)
module = project.wsgi

# 指定虚拟解释器的第一层路径
home = /root/Envs/project

# 指定通过uwsgi启动多少个进程,默认2个
processes = 4

# 如果你已经配置了nginx,请使用这个socket连接
socket = 127.0.0.1:9999

# 如果你没有配置nginx,想通过uwsgi直接启动web服务,请使用这个http连接,指明http协议
# http = 127.0.0.1:9999

# 结合上面的 http 与 socket 配置项,都可以访问
http-socket 0.0.0.0:9999

# 在退出/重启uwsgi环境后清空环境变量
vacuum = true

指定配置文件启动命令:

uwsgi --ini /etc/uwsgi_nginx.ini

uWSGI热加载Python程序
.
在启动命令的后面加上--py-autoreload=1即可

# 命令启动
uwsgi --http :8000 --module mysite.wsgi --py-autoreload=1

# 配置文件启动
uwsgi --ini uwsgi.ini --py-autoreload=1

此时修改Django代码,uWSGI会自动加载Django程序,页面生效.
***

配置Nginx结合uWSGI

这里我们只讲解Nginx配置文件部分

worker_processes 1;
events 
    worker_connections 1024;

http 
    include mime.types;
    default_type application/octet-stream;
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for"';
    access_log logs/access.log  main;
    sendfile        on; 
    keepalive_timeout  65;   
    # 负载集群
    upstream load 
         server 192.168.1.100:9999;
         server 192.168.1.200:9999;
         server 192.168.1.300:9999;
    
    server 
        listen 80; 
        server_name 192.168.43.149;
        location /  
            # nginx自带的ngx_http_uwsgi_module模块,起到nginx和uwsgi交互的作用
            # 通过uwsgi_pass指定服务器地址和协议,将动态请求转发给uwsgi处理
            uwsgi_pass load;  # load是上面定义的负载集群
            # 指定uwsgi_params
            include /usr/local/nginx1.12/conf/uwsgi_params;
           
        # nginx处理静态页面资源
        location /static 
            alias /data/static/;
           
        # nginx处理媒体资源
        location /media 
            alias/data/media/;
           
       
 

配置完后重启Nginx,即可实现其功能.
***

supervisor

supervisor是基于Python的任务管理工具,用于自动运行各种后台任务。当然我们也能直接使用Linux的nohup命令是任务自动后台运行,但如果要重启任务,就得手动去kill掉任务进程。这样很繁琐,而且一旦程序错误导致进程退出的话,系统也无法自动重载任务。

下载

# 由于supervisor在python3下无法使用,因此只能用python2去下载
yum install python-setuptools
easy_install supervisor

通过下面的命令生成supervisor的配置文件

echo_supervisord_conf > /etc/supervisord.conf

然后在/etc/supervisord.conf末尾添加如下代码

[program:django_test]  # [program:项目名称]
command=/root/Envs/djang1.11.11/bin/uwsgi --ini /root/django_test/uwsgi.ini  
# 程序启动命令

autostart=true  
# 在supervisord启动的时候也自动启动,可使uWSGI程序被杀掉后自动运行


# 这里我们只使用到了上面两个参数??


# startsecs=10  
# 启动10秒后没有异常退出,就表示进程正常启动了,默认为1秒

# autorestart=true  
# 程序退出后自动重启,可选值有:[unexpected,true,false],默认为unexpected,表示进程被意外杀死后才重启

# startretries=3  
# 启动失败自动重试次数,默认是3

# user=django1.11.11  
# 用哪个用户启动进程,默认为root

# priority=999  
# 进程启动优先级,默认999,值小的优先启动

# redirect_stderr=true  
# 把stderr重定向到stdout,默认false

# stdout_logfile_maxbytes=20MB  
# stdout 日志文件大小,默认50MB

# stdout_logfile_backups = 20   
# stdout 日志文件备份数,默认是10

# stdout  
# 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)

# stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out

# stopasgroup=false  
# 默认为false,进程被杀死时,是否向这个进程组发送stop信号,包括子进程

# killasgroup=false  
# 默认为false,向进程组发送kill信号,包括子进程

其中command是结合virtualenv的命令和supervisor的精髓:

command=/root/Envs/djang1.11.11/bin/uwsgi --ini /root/django_test/uwsgi.ini

command=/root/Envs/djang1.11.11/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /root/django_test --home=/root/venv --module django_test.wsgi
# --chdir:指定项目的根
# --home:指的是虚拟环境目录  
# --module:找到Django项目环境中的wsgi.py文件

启动supervisor

# 启动supervisor
supervisord -c /etc/supervisord.conf

# 重启my项目
supervisorctl -c /etc/supervisord.conf restart my

supervisorctl -c /etc/supervisord.conf [start|stop|restart] [program-name|all]

重新加载supervisor

supervisorctl update
# 更新新的配置到supervisord 

supervisorctl reload
# 重新启动配置中的所有程序

supervisorctl start program_name
# 启动某个进程(program_name=你配置中写的程序名称)

supervisorctl
# 查看正在守候的进程

pervisorctl stop program_name
# 停止某一进程 (program_name=你配置中写的程序名称)

supervisorctl restart program_name
# 重启某一进程 (program_name=你配置中写的程序名称)

supervisorctl stop all
# 停止全部进程


# 注意:显示用stop停止掉的进程,用reload或者update都不会自动重启。

Django静态文件与Nginx配置

mysite/settings.py

# 此参数会将将STATICFILES_DIRS中所有文件夹中的文件,以及各app中static中的文件都复制到指定的路径下
STATIC_ROOT='/data/static'

STATIC_URL='/static'
STATICFILES_DIRS=[
    os.path.join(BASE_DIR, 'static'),
]

配置完毕后,运行命令:

python3.6 manage.py collectstatic

上面的命令会收集所有我们项目中所有的静态文件并保存到STATIC_ROOT指定的路径下.
把这些文件放到一起是为了用nginx等部署的时候更方便.
***
参考文献:https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html

原文: http://106.13.73.98/__/101/

以上是关于使用uWSGI和Nginx来设置Django和你的Web服务器 -- 2019-08-08 20:39:49的主要内容,如果未能解决你的问题,请参考以下文章

部署Django项目Nginx + uwsgi

通过 Nginx 的 uwsgi + django - uwsgi 设置/生成?

在 Docker 上使用 Nginx、uWSGI 和 Postgres 配置 Django

Ubuntu + Django(DRF) + channels(websocket)+NGINX + uwsgi 环境部署

uWSGI + Django + Nginx - 运行时错误

Django + uWSGI + Nginx + SSL - 工作配置请求(强调 SSL)