DJANGO技巧两则：模拟MKDIR -P及配合NGINX上传大文件不使超时

Posted 2020-06-09

这都是在开发当哪遇到的问题，网上转转，作个记录：

http://blog.chinaunix.net/uid-25525723-id-1596574.html

http://bookshadow.com/weblog/2014/10/02/python-mkdir-p/

 

def mkdir_p(path):
    try:
        os.makedirs(path)
    except OSError as exc:  # Python >2.5 (except OSError, exc: for Python <2.5)
        if exc.errno == errno.EEXIST and os.path.isdir(path):
            pass
        else:
            raise

我的配置是：nginx+uwsgi+django来上传的。

配置文件修改成如下：

1. server {
2.         listen 8080;
3.         client_header_buffer_size 40890k;
4.         client_max_body_size 500m;
5.         client_body_buffer_size 80240k;
7.         location / {
8.             uwsgi_pass 127.0.0.1:10000;
9.             include uwsgi_params;
10.             proxy_send_timeout 300;
    
11.             proxy_read_timeout 300;
    
12.             proxy_buffer_size 512k;
    
13.             proxy_buffers 64 128k;
    
14.             proxy_busy_buffers_size 1024k;
    
15.             proxy_temp_file_write_size 512k;
    
16.             proxy_connect_timeout 30s;
17.             access_log off;
18.         }
20.         location ^~ /site_media {
21.                 root /home/xxxxxx/xxxxxx;
22.         }
24.         location ~* ^.+\.(mpg|avi|mp3|swf|zip|tgz|gz|rar|bz2|doc|xls|exe|ppt|txt|tar|mid|midi|wav|rtf|mpeg)$ {
25.             root /xxx/xxx/xxxxx/site_media;
26.             expires 30d;
27.             access_log off;
28.         }
30. }

要将proxy的这几个参数调整到比较大一些就行！要不然就会buffer不够用了。

 

 

附这几个参数的说明：

proxy_buffer_size

default: proxy_buffer_size 4k/8k

context: http, server, location

该指令设置缓冲区大小,从代理后端服务器取得的第一部分的响应内容,会放到这里.

小的响应header通常位于这部分响应内容里边.

默认来说,该缓冲区大小等于指令 proxy_buffers所设置的;但是,你可以把它设置得更小.

 

proxy_buffering 

syntax: proxy_buffering on|off

default: proxy_buffering on

context: http, server, location

该指令开启从后端被代理服务器的响应内容缓冲.

如果缓冲区开启,nginx假定被代理的后端服务器会以最快速度响应,并把内容保存在由指令proxy_buffer_size 和 proxy_buffers指定的缓冲区里边.

如果响应内容无法放在内存里边,那么部分内容会被写到磁盘上.

如果缓冲区被关闭了,那么响应内容会按照获取内容的多少立刻同步传送到客户端

nginx不尝试计算被代理服务器整个响应内容的大小,nginx能从服务器接受的最大数据,是由指令proxy_buffer_size指定的.

对于基于长轮询(long-polling)的Comet 应用来说,关闭 proxy_buffering 是重要的,不然异步响应将被缓存导致Comet无法工作 

 

proxy_buffers

语法: proxy_buffers the_number is_size;

默认值: proxy_buffers 8 4k/8k;

上下文: http, server, location

该指令设置缓冲区的大小和数量,从被代理的后端服务器取得的响应内容,会放置到这里. 默认情况下,一个缓冲区的大小等于内存页面大小,可能是4K也可能是8K,这取决于平台

 

proxy_connect_timeout

上下文: http, server, location 该参数定义了跟代理服务器连接的超时时间,必须留意这个time out时间不能超过75秒. 这并不是服务器开始返回页面的时间(这是proxy_read_timeout的定义).如果upstream服务器在线,但是挂死(比如,它暂时没有足够的进程去处理你的请求,先放在连接池里边等待处理),这时这个参数无法帮助你,因为跟服务器的连接已经建立了. 

 

proxy_max_temp_file_size

语法: proxy_max_temp_file_size size;

默认值: proxy_max_temp_file_size 1G;

上下文: http, server, location, if

Available since: 0.1.8

TODO: Description.