Linux下玩转nginx系列---nginx实现cache（缓存）服务

Posted 2022-06-22 anyRTC

Ngnix 缓存

缓存的使用在各种项目中非常普遍，nginx作为一款高效的代理服务器，也提供了强大的缓存机制，试想在一些大型网站中，静态的html，js，css文件等数量非常庞大的情况下，加载页面的时候，如果没有缓存的话，页面将会非常慢，在这种情况下，就可以考虑使用nginx提供的缓存功能的配置。

Nginx的web缓存

• Nginx从0.7.48版提供缓存功能。
• Nginx是基于Proxy Store来实现的，其原理是把URL及相关组合当做Key,在使用MD5算法对Key进行哈希，得到硬盘上对应的哈希目录路径，从而将缓存内容保存在该目录中。
• 它可以支持任意URL连接，同时也支持404/301/302这样的非200状态码。Nginx即可以支持对指定URL或者状态码设置过期时间，也可以使用purge命令来手动清除指定URL的缓存。

Nginx缓存设置相关指令

Nginx的web缓存服务主要是使用ngx_http_proxy_module模块相关指令集来完成，接下来把常用的指令做一下总结：
proxy_cache_path

该指定用于设置缓存文件的存放路径

语法格式

proxy_cache_path path [levels=number]
keys_zone=zone_name:zone_size [inactive=time]
[max_size=size];

参数说明
path
缓存路径地址

/usr/local/proxy_cache

levels
指定该缓存空间对应的目录，最多可以设置3层，每层取值为1|2如 :

levels=1:2 缓存空间有两层目录，第一次是1个字母，第二次是2个 字母

举例说明：

zcy[key]通过MD5加密以后的值为 : 43c8233266edce38c2c9af0694e2107d

最终生成的缓存目录含义为：

• levels=1:2 最终的存储路径为/usr/local/proxy_cache/d/07；
• levels=2:1:2 最终的存储路径为/usr/local/proxy_cache/7d/0/21；
• levels=2:2:2 最终的存储路径为??/usr/local/proxy_cache/7d/10/e2

keys_zone
用来为这个缓存区设置名称和指定大小

举例说明：

keys_zone=zcy:200m 缓存区的名称是zcy,大小为200M,1M 大概能存储8000个keys

inactive
指定缓存的数据多次时间未被访问就将被删除

举例说明：

inactive=1d 缓存数据在1天内没有被访问就会被删除

max_size
设置最大缓存空间，如果缓存空间存满，默认会覆盖缓存时间最长的资源，如：max_size=2g

配置文件
nginx.conf 主配置文件

worker_processes  1;
events 
    worker_connections  65536;

http 
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  logs/access.log  main;
#CDN Include
    include proxy.conf;
    include upstrem.conf;
    include test.example.com.conf;
    server 
        listen       80;
        server_name  localhost;
        error_page   500 502 503 504  /50x.html;
        location = /50x.html 
            root   html;
        
    


cat proxy.conf 
#test cache
proxy_temp_path /data/cdn_cache/proxy_temp_dir;
proxy_cache_path /data/cdn_cache/proxy_cache_dir levels=1:2 keys_zone=cache_one:50m inactive=1d max_size=1g;
proxy_connect_timeout 5;
proxy_read_timeout 60;
proxy_send_timeout 5;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_404;

[root@centos-1 conf]# cat upstrem.conf 
upstream test.example.com

        server 192.168.1.102:80 weight=10 max_fails=3;


[root@centos-1 conf]#
mkdir /data/cdn_cache -p

[root@centos-1 conf]# cat test.example.com.conf 
server

    listen 80;
    server_name test.example.com;
    access_log logs/test.example.com-access.log main;
    location ~ .*\\.(gif|jpg|png|html|htm|css|js|ico|swf|pdf)$
    
        #Proxy 
        proxy_redirect off;
        proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
        proxy_set_header            Host $host;
        proxy_set_header            X-real-ip $remote_addr;
        proxy_set_header            X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass    http://test.example.com;

        #Use Proxy Cache
        proxy_cache cache_one;
        proxy_cache_key "$host$request_uri";
        add_header Cache "$upstream_cache_status";
        proxy_cache_valid  200 304 301 302 8h;
        proxy_cache_valid 404 1m;
        proxy_cache_valid  any 2d;
    
    location /
    
                proxy_redirect off;
                proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
                proxy_set_header            Host $host;
                proxy_set_header            X-real-ip $remote_addr;
                proxy_set_header            X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_pass    http://test.example.com;
                client_max_body_size 40m;
                client_body_buffer_size 128k;
                proxy_connect_timeout 60;
                proxy_send_timeout 60;
                proxy_read_timeout 60;
                proxy_buffer_size 64k;
                proxy_buffers 4 32k;
                proxy_busy_buffers_size 64k;
    


[root@centos-1 nginx]# ps -ef |grep nginx 
root       5620      1  0 21:31 ?        00:00:00 nginx: master process sbin/nginx
nginx      5621   5620  0 21:31 ?        00:00:00 nginx: worker process
nginx      5622   5620  0 21:31 ?        00:00:00 nginx: cache manager process
nginx      5623   5620  0 21:31 ?        00:00:00 nginx: cache loader process

查看进程发现多了两个cache进程。

通过上面的配置，运行后可得到如下结论
1.访问html的时候，不走缓存。
2.第一次访问图片的时候，cache是miss的状态。
3.第二次访问图片的时候，cache是hit的状态。

登录缓存服务器查看

分析nginx缓存过程
第一步：访问了两个URL：

http://192.168.1.102/index.html
http://192.168.1.102/test.jpg

第二步：查看缓存目录：

[root@centos-1 cdn_cache]# tree -A /data/cdn_cache/
/data/cdn_cache/
+-- proxy_cache_dir
|   +-- 9
|   |   +-- a8
|   |       +-- f28e02e3877f3826567907bcb0ebea89
|   +-- e
|       +-- 88
|           +-- 114250cf63938b2f9c60b2fb3e4bd88e
+-- proxy_temp_dir

6 directories, 2 files

第三步：缓存配置参数：

proxy_cache_path /data/cdn_cache/proxy_cache_dir levels=1:2

第四步：查看缓存内容

第五步：分析过程
通过对key加密

echo -n '192.168.1.102/index.html' |md5sum |awk 'print $1'
114250cf63938b2f9c60b2fb3e4bd88e

echo -n '192.168.1.102/test.jpg' |md5sum |awk 'print $1'
f28e02e3877f3826567907bcb0ebea89

分析结果：
1.nginx根据配置levels=1:2进行缓存。
2.其中1表示MD5的最后一位。
3.其中2表示MD5的倒数第三位和第三位。
4.一个冒号表示一层。

参考文档

nginx-proxy_pass官网
NGINX缓存使用官方指南
Full Example Configuration