Django + uWSGI + Nginx 实现生产环境部署

Posted skiler

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Django + uWSGI + Nginx 实现生产环境部署相关的知识，希望对你有一定的参考价值。

一、Uwsgi 是啥？

WSGI(Web Server Gateway Interface)，是一种Web服务器网关接口。它是一个Web服务器（如nginx，uWSGI等服务器）与web应用（如用Flask框架写的程序）通信的一种规范。

uWSGI 是一个快速的、纯C语言开发的、自维护的、对开发者友好的 WSGI 服务器，旨在提供专业的 Python web应用发布和开发。可使用 C/C++/Objective-C 来为 uWSGI 编写插件。

要注意 WSGI / uwsgi / uWSGI 这三个概念的区分。

  1. WSGI是一种Web服务器网关接口。它是一个Web服务器（如nginx，uWSGI等服务器）与web应用（如用Flask框架写的程序）通信的一种规范。
  2. uwsgi是一种线路协议而不是通信协议，在此常用于在uWSGI服务器与其他网络服务器的数据通信。
  3. 而uWSGI是实现了uwsgi和WSGI两种协议的Web服务器。
  4. uwsgi协议是一个uWSGI服务器自有的协议，它用于定义传输信息的类型（type of information），每一个uwsgi packet前4byte为传输信息类型描述，它与WSGI相比是两样东西。

uWSGI的主要特点如下

  1. 超快的性能
  2. 低内存占用（实测为apache2的mod_wsgi的一半左右）
  3. 多app管理（终于不用冥思苦想下个app用哪个端口比较好了-.-）
  4. 详尽的日志功能（可以用来分析app性能和瓶颈）
  5. 高度可定制（内存大小限制，服务一定次数后重启等）
  6. 处理静态请求不太好

二、Nginx是啥？

Nginx（发音同engine x）是一个网页服务器，它能反向代理HTTP, HTTPS, SMTP, POP3, IMAP的协议链接，以及一个负载均衡器和一个HTTP缓存。其特点是占有内存少，并发能力强。

三、比较好使的框架结构

 

 

 四、环境搭建

a、Linux服务器一台

[root@web01 ~]# cat /etc/redhat-release 
CentOS release 6.6 (Final)
[root@web01 ~]# uname -r
2.6.32-504.el6.x86_64
系统和内核版本

b、安装Python和Django相关的软件和工具包

  1. 安装setuptools 
    [root@django tools]# yum install pcre pcre-devel openssl openssl-devel zlib bzip2-devel -y

[root@django tools]# ll 
-rw-r--r-- 1 root root 641502 3月   2 18:50 setuptools-19.6.tar.gz

[root@django tools]# tar xf setuptools-19.6

[root@django tools]# cd setuptools-19.6

[root@django tools]#python setup.py install

[root@django tools]#cd ..

##################################################################

#nginx模块

pcre pcre-devel  #perl语言兼容正则表达式，用来做Nginx的HTTP Rewrite 模块

bzip2-devel   ·#提供压缩功能

openssl openssl-devel  #https加密模块

###################################################################

zlib #在编译python3的时候，加载setuptools的时候会报错，所以这里提前处理啦！
    源码安装setuptools
  2. 安装pip 
    [root@django tools]# ll 
-rw-r--r-- 1 root root 1197370 3月   2 13:30 pip-9.0.1.tar.gz

[root@django tools]# tar xf pip-9.0.1.tar.gz 

[root@django tools]# cd pip-9.0.1

[root@django pip-9.0.1]# python setup.py install

[root@django pip-9.0.1]# cd ..

#配置环境变量：

[root@django bin]# vi /etc/profile
export PATH="/usr/local/python3/bin:$PATH"

  [root@django bin]# tail -1 /etc/profile
  export PATH="/usr/local/python3/bin:$PATH"
  [root@django bin]# source /etc/profile
  #查看帮助
  [root@django bin]# pip3  或 pip
    升级到最新的pip
  3. 安装sqlite3 
    方法一：
yum install sqlite-devel

或

方法二：

软件下载官网：http://www.sqlite.org

[root@django tools]# ll
-rw-r--r-- 1 root root 2515143 3月   2 13:33 sqlite-autoconf-3170000.tar.gz

[root@django tools]# tar xf sqlite-autoconf-3170000.tar.gz

[root@django tools]# cd sqlite-autoconf-3170000

[root@django tools]# ./configure

[root@django tools]#make && make install
    安装sqlite
  4. 升级到Python3 
    方法一：

升级为python3.5版本步骤
root@template ~]# cd /home/oldboy/tools/

#下载python-3.5.2
[root@template tools]# wget https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tgz

[root@template tools]# ll
总用量 20104
-rw-r--r--  1 root root 20566643 6月  26 05:47 Python-3.5.2.tgz

#解压到下载目录
[root@template tools]# tar zxvf Python-3.5.2.tgz 

#进入解压后的文件夹
[root@template tools]# cd Python-3.5.2

#在编译前先在/usr/local建一个文件夹python3（作为python的安装路径，以免覆盖老的版本）
[root@template Python-3.5.2]# mkdir /usr/local/python3

#开始编译安装
[root@template Python-3.5.2]#  ./configure --prefix=/usr/local/python3

[root@template Python-3.5.2]# make && make install

此时没有覆盖老版本，再将原来/usr/bin/python链接改为别的名字
[root@template Python-3.5.2]# mv /usr/bin/python /usr/bin/python_old

#再建立新版本python的软链接
[root@template Python-3.5.2]# ln -s /usr/local/python3/bin/python3 /usr/bin/python

#就会显示出python的新版本信息
[root@template Python-3.5.2]# python
Python 3.5.2 (default, Aug  2 2016, 11:35:06) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-11)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> exit()     #<----退出python

PS：如果不建立新安装路径python3，而是直接默认安装，则安装后的新python应该会覆盖linux下自带的老版本。当然如果还想保留原来的版本，那么这种方法最好不过了。

注意事项：
这种方法虽然能安装成功，但会导致yum不能正常使用。

解决方法：
[root@template tools]# cp /usr/bin/yum /usr/bin/yum.backup_2016-08-02

修改第一行参数
vi /usr/bin/yum   
把  #!/usr/bin/python    修改为：/usr/bin/python_old  
或
把  #!/usr/bin/python    修改为：/usr/bin/python2.6

#查看版本
[root@template Python-3.5.2]# python --version
Python 3.5.2

#查看安装路径（可以省略这步）
[root@web01 ~]# python
Python 3.5.2 (default, May 27 2017, 18:39:42) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-11)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> print(sys.path)
[\'\', \'/usr/local/python3/lib/python35.zip\', \'/usr/local/python3/lib/python3.5\', \'/usr/local/python3/lib/python3.5/plat-linux\', \'/usr/local/python3/lib/python3.5/lib-dynload\', \'/usr/local/python3/lib/python3.5/site-packages\']
>>> exit()
    安装python3
  5. 安装Django 
    方式一：用pip3安装

pip3 install django

升级方法：

pip3 install django --upgrade
    安装Django包
  6. 安装Pymysql （选装，具体看项目使用的数据库） 
    pip3 install PyMySQL

#检查模块是否安装成功
[root@web01 ~]# python
Python 3.5.2 (default, May 27 2017, 18:39:42) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-11)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import pymysql 
>>> 
>>> exit()
    安装pyMysql模块

c、uWSGI的安装

# 安装 uwsgi
[root@localhost teacher]# pip3 install uwsgi
安装uwsgi模块
[root@web01 nulige]# cd /home/nulige

[root@web01 nulige]# mkdir -p uwsgi_test

[root@web01 nulige]# cd uwsgi_test/

#测试文件

[root@web01 uwsgi_test]# vi test.py 

def application(env, start_response):
    start_response(\'200 OK\', [(\'Content-Type\',\'text/html\')])
    return [b"Hello World"] # python3
    #return ["Hello World"] # python2

# 启动
[root@web01 uwsgi_test]# uwsgi --http :8000 --wsgi-file test.py

# 查看进程
[root@web01 ~]# ps -ef|grep uwsgi
root      17970   1000  0 19:12 pts/0    00:00:00 uwsgi --http :8000 --wsgi-file test.py
root      17972  17970  0 19:12 pts/0    00:00:00 uwsgi --http :8000 --wsgi-file test.py
root      17996  17973  0 19:14 pts/1    00:00:00 grep uwsgi

# 浏览器访问
uWSGI的测试

 

d、nginx的安装

  1. 　更改操作系统默认的yum源
#以CentOS6.x 系统为例

1、备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2、更换成国内源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

3、之后运行yum makecache生成缓存

　　2. 安装nginx

yum -y install nginx

 

六、启动项目

 a、uWSGI的启动

  1. 　　命令行启动 
    [root@python-dev ~]# uwsgi --http 192.168.14.4:8080 --file teacher/wsgi.py --static-map=/static=static

     

  2. 配置文件启动 
    # uwsig使用配置文件启动
    [uwsgi]
    # 项目目录
    chdir=/opt/project_teacher/teacher/
    # 指定项目的application
    module=teacher.wsgi:application
    # 指定sock的文件路径
    socket=/opt/project_teacher/script/uwsgi.sock
    # 进程个数
    workers=5
    pidfile=/opt/project_teacher/script/uwsgi.pid
    # 指定IP端口
    http=192.168.31.123:8080
    # 指定静态文件
    static-map=/static=/opt/test_project/teacher/static
    # 启动uwsgi的用户名和用户组
    uid=root
    gid=root
    # 启用主进程
    master=true
    # 自动移除unix Socket和pid文件当服务停止的时候
    vacuum=true
    # 序列化接受的内容，如果可能的话
    thunder-lock=true
    # 启用线程
    enable-threads=true
    # 设置自中断时间
    harakiri=30
    # 设置缓冲
    post-buffering=4096
    # 设置日志目录
    daemonize=/opt/project_teacher/script/uwsgi.log
    配置文件样例
    # 通过配置文件启动
        uwsgi --ini uwsgi.ini
        # 会生成两个文件
            PID文件 他是标识这个程序所处的状态
            SOCK文件  他是用来和其他程序通信的
    # 停止uwsgi
        uwsgi --stop uwsgi.pid

    # 重载配置
        uwsgi --reload uwsgi.ini
    配置文件启动命令

     

b、nginx的配置

　　

#先进入到配置文件：
vi /etc/nginx/conf.d/

# 这个server标识开始配置了
server {
        listen 80;  # 我要监听那个端口
        server_name 10.129.205.183 ;  # 你访问的路径前面的url名称
        access_log  /var/log/nginx/access.log  main;  # Nginx日志配置
        charset  utf-8; # Nginx编码
        gzip on;  # 启用压缩,这个的作用就是给用户一个网页,比如3M压缩后1M这样传输速度就会提高很多
        gzip_types text/plain application/x-javascript text/css text/javascript application/x-httpd-php application/json text/json image/jpeg image/gif image/png application/octet-stream;  # 支持压缩的类型

        error_page  404           /404.html;  # 错误页面
        error_page   500 502 503 504  /50x.html;  # 错误页面

        # 指定项目路径uwsgi
        location / {        # 这个location就和咱们Django的url(r\'^admin/\', admin.site.urls),
            include uwsgi_params;  # 导入一个Nginx模块他是用来和uWSGI进行通讯的
            uwsgi_connect_timeout 30;  # 设置连接uWSGI超时时间
            uwsgi_pass unix:/opt/project_teacher/script/uwsgi.sock;  # 指定uwsgi的sock文件所有动态请求就会直接丢给他
        }

        # 指定静态文件路径
        location /static/ {
            alias  /opt/project_teacher/teacher/static/;
            index  index.html index.htm;
        }

    }
nginx的配置
/etc/init.d/nginx start
/etc/init.d/nginx stop

# 这里有个命令configtest,Nginx配置是重启生效的，如果你修改完了，不知道对不对又担心影响其他人可以使用它测试
/etc/init.d/nginx configtest

# 如果是生产环境的话Nginx正在运行，就不要直接stop start 或者 restart  直接reload就行了
# 对线上影响最低（生产环境用的方法）
/etc/init.d/nginx reload
nginx命令

解决Django静态配置文件丢失问题

问题原因：
    是因为admin所需的js,css等静态文件都在django的安装目录内，但是我们并没有配置指向Django的配置文件。

解决办法:
    我们可以通过配置 STATIC_ROOT = os.path.join(BASE_DIR, "static_all")来指定静态文件的默认家目录是那里，然后把项目里所有的静态文件都收集起来放到这个目录下面。

收集命令:
    python3 manage.py collectstatic --noinput

修改Nginx 指定静态路径
    alias  /opt/test_project/teacher/static_all/;
静态文件bug

参数优化，请参考官方文档：

首先参考下官网的 things to know : http://uwsgi-docs.readthedocs.org/en/latest/ThingsToKnow.html

     我这边最终启动的命令如下： 

     uwsgi --socket 127.0.0.1:9090 -p 16 -l 8192 -M -R 100000  -z30 -L --wsgi-file  app.py --max-apps 65535 --stats 127.0.0.1:1717 --post-buffering 100M --cpu affinity --buffer-size 65535 --daemonize /tmp/uwsgi --pidfile /tmp/uwsgi.pid  --memory-report --threads 16

以上是关于Django + uWSGI + Nginx 实现生产环境部署的主要内容，如果未能解决你的问题，请参考以下文章

Django + Uwsgi + Nginx 实现生产环境部署

django+uwsgi+nginx实现负载均衡

nginx+uWSGI+django

Django + uWSGI + Nginx 实现生产环境部署

mysql + Python3.5.2 + Django + Uwsgi + Nginx实现生产环境

五步教你实现使用Nginx+uWSGI+Django方法部署Django程序