varnish简单入门

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了varnish简单入门相关的知识,希望对你有一定的参考价值。

nginx里我们引入了缓存功能,把对某些请求的结果缓存下来,下次请求直接使用数据响应,这样极大的节省了系统获取源数据资源的时间,若我们把大量的请求结果都使用缓存服务器来响应,那么我们可以大大减少计算机数量减少成本。既然要使用缓存那么就会引来问题,缓存的数据什么时间失效,万一多台缓存服务器损坏一台后,缓存结果怎么处理。



# 目录

varnish控制

缓存运作方式

缓存项控制

日志

实践



# varnish控制

缓存服务器的类型常用的有memched、squid、varnish,这里我们使用varnish,因为它的功能更加多样更加便捷,正在取代squid;squid是传统运行比较稳健的缓存服务器,memched比较老旧。

varnish的架构图

![](varnish1.png)

varnish主要包含三个部分

management提供管理接口,并控制缓存进程的特性

child/cache提供缓存功能,记录日志,访问控制,后端服务器管理

vcl给child/cache提供配置文件的编译

varnish程序结构

/etc/varnish/varnish.params: 配置varnish服务进程的工作特性,例如监听的地址和端口,缓存机制;

/etc/varnish/default.vcl:配置各Child/Cache线程的缓存工作属性;

主程序:

/usr/sbin/varnishd

CLI interface:

/usr/bin/varnishadm

Shared Memory Log交互工具:

/usr/bin/varnishhist

/usr/bin/varnishlog

/usr/bin/varnishncsa

/usr/bin/varnishstat

/usr/bin/varnishtop

测试工具程序:

/usr/bin/varnishtest

VCL配置文件重载程序:

/usr/sbin/varnish_reload_vcl

Systemd Unit File:

/usr/lib/systemd/system/varnish.service

varnish服务

/usr/lib/systemd/system/varnishlog.service

/usr/lib/systemd/system/varnishncsa.service

日志持久的服务;



# 缓存运作方式

缓存的数据存储方式:key/value的方式存储,还记得nginx存储时,是把key保存在内存中,把value的数据存储在磁盘上,这里就有问题了,同样是在磁盘里存储数据,为什么使用key/value存储方式数据是可以提高获取速度的提高,因为文件系统读取数据需要遍历存储树,而我们缓存的时候使用的是一个层级结构,数据的位置可以预测。这里涉及到我们缓存使用的算法,我们把请求报文进行进行hash运算后按照hash结果的后两位的数据的数值创建文件夹,每个对应每个对应位都放在相应的文件夹,然后再把后3和4位数据创建文件夹。

vanish的缓存数据的方式有三种

vanish -s [name=]type[,options]

type的三种类型

· malloc[,size]

内存存储,[,size]用于定义空间大小;重启后所有缓存项失效;

· file[,path[,size[,granularity]]]

文件存储,黑盒;重启后所有缓存项失效;

· persistent,path,size

文件存储,黑盒;重启后所有缓存项有效;实验;

varnish程序的选项:

程序选项:/etc/varnish/varnish.params文件

-a address[:port][,address[:port][...],默认为6081端口; 

-T address[:port],默认为6082端口;

-s [name=]type[,options],定义缓存存储机制;

-u user

-g group

-f config:VCL配置文件;

-F:运行于前台;

...

运行时参数:/etc/varnish/varnish.params文件, DEAMON_OPTS

DAEMON_OPTS="-p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300"

-p param=value:设定运行参数及其值; 可重复使用多次;

-r param[,param...]: 设定指定的参数为只读状态;

在使用内存缓存数据时,我们需要考虑内存回收和内存空间碎片化,我们的使用方法是把内存提前分片,然后使用。varnish使用内存是使用c语言的malloc,jemalloc-3.6.0-1.el7.x86_64提供这个功能

线程相关的参数,在线程池内部,其每一个请求由一个线程来处理; 其worker线程的最大数决定了varnish的并发响应能力;

thread_pools #child数量,最好小于或等于CPU核心数量; 

thread_pool_max #每个进程最多可以开启的线程数

thread_pool_min #额外意义为“最大空闲线程数”;

最大并发连接数=thread_pools  * thread_pool_max

thread_pool_timeout:Thread idle threshold.  Threads in excess of thread_pool_min, which have been idle for at least this long, will be destroyed.

thread_pool_add_delay:Wait at least this long after creating a thread.

thread_pool_destroy_delay:Wait this long after destroying a thread.

设置方式:

vcl.param 

永久有效的方法:

vim /etc/varnish/varnish.params

DEAMON_OPTS="-p PARAM1=VALUE -p PARAM2=VALUE"




# 缓存项控制

以上是控制child程序运行的基本属性,真正实现缓存功能的定义来至于vcl定义的属性,vcl才varnish真正的配置文件,vcl的配置文件是/etc/default.vcl这个配置文件的属性如下

vcl的语法格式:

(1) VCL配置文件需要以vcl 4.0这个配置开始;

(2) //, # 和 /* foo */作注释;

(3) 可以定义函数然后调用; 例如sub vcl_recv { ...};

(4) No loops, state-limited variables(受限于引擎的内建变量);

(5) Terminating statements with a keyword for next action as argument of the return() function, i.e.: return(action);用于实现状态引擎转换; 

(6) Domain-specific;

The VCL Finite State Machine

(1) Each request is processed separately;

(2) Each request is independent from others at any given time;

(3) States are related, but isolated;

(4) return(action); exits one state and instructs Varnish to proceed to the next state;

(5) Built-in VCL code is always present and appended below your own VCL;


### 结构

介绍配置之前我们需要了解varnish的child的运行是调用个状态引擎的顺序,VCL有多个状态引擎,状态之间存在相关性,但状态引擎彼此间互相隔离;每个状态引擎可使用return(x)指明关联至哪个下一级引擎;每个状态引擎对应于vcl文件中的一个配置段,即为subroutine,各引擎调用关系如下

技术分享


### 引擎

我们调用引擎使用return命令就可以了,这些引擎可以分为两类,一种是面对客户端的,一种是面对后端服务器的

客户端的

vcl_rev #内可以调用这些引擎,在这个引擎内我们可以定义对哪些请求进行使用缓存不使用缓存

hash:vcl_hash #查缓存

pass: vcl_pass

pipe: vcl_pipe

synth: vcl_synth

purge: vcl_hash --> vcl_purge

vcl_deliver #使用缓存响应

vcl_hit

vcl_miss

vcl_pass #不使用缓存

vcl_synth

vcl_purge #对已经缓存的数据进行修剪,重新缓存

vcl_pipe

后端服务器的

vcl_backend_fetch

vcl_backend_response

vcl_backend_error


### 变量

内建变量

req.*:request,表示由客户端发来的请求报文相关;

req.http.*

req.http.User-Agent, req.http.Referer, ...

bereq.*:由varnish发往BE主机的httpd请求相关;

bereq.http.*

beresp.*:由BE主机响应给varnish的响应报文相关;

beresp.http.*

resp.*:由varnish响应给client相关;

obj.*:存储在缓存空间中的缓存对象的属性;只读;

常用变量:

bereq.*, req.*:

bereq.http.HEADERS

bereq.request:请求方法;

bereq.url:请求的url;

bereq.proto:请求的协议版本;

bereq.backend:指明要调用的后端主机;

req.http.Cookie:客户端的请求报文中Cookie首部的值; 

req.http.User-Agent ~ "chrome"

beresp.*, resp.*:

beresp.http.HEADERS

beresp.status:响应的状态码;

reresp.proto:协议版本;

beresp.backend.name:BE主机的主机名;

beresp.ttl:BE主机响应的内容的余下的可缓存时长;

obj.*

obj.hits:此对象从缓存中命中的次数;

obj.ttl:对象的ttl值

server.*

server.ip

server.hostname

client.*

client.ip

用户自定义:

set

unset




# 日志

1、varnishstat - Varnish Cache statistics

-1

-1 -f FILED_NAME 

-l:可用于-f选项指定的字段名称列表;

MAIN.cache_hit 

MAIN.cache_miss

# varnishstat -1 -f MAIN.cache_hit -f MAIN.cache_miss

2、varnishtop - Varnish log entry ranking

-1     Instead of a continously updated display, print the statistics once and exit.

-i taglist,可以同时使用多个-i选项,也可以一个选项跟上多个标签;

-I <[taglist:]regex>

-x taglist:排除列表

-X  <[taglist:]regex>

3、varnishlog - Display Varnish logs

4、 varnishncsa - Display Varnish logs in Apache / NCSA combined log format




# 实践

这里我做的实验是,varnish有两个后端主机,网页使用缓存,但是login目录下的内容不使用缓存,这里我们把后端主机的/login下页面定义不一样,这样我们可以看到不使用缓存的效果,同时varnish主机自己可以刷新缓存数据。

技术分享


### varnish的配置

varnish在epel源中,版本是4.0.4

yum install varnish


vim /etc/varnish/varnish.params #只更改如下一行 

VARNISH_LISTEN_PORT=80


vim /etc/varnish/default.vcl 

vcl 4.0;

import directors;

backend default {

   .host = "127.0.0.1";

   .port = "8080";

}

probe check {

   .url = "/index.html";

   .window = 5;

   .threshold = 3;

   .interval = 2s; 

   .timeout = 1s; 

}

backend server1 {

   .host = "172.16.29.10";

   .port = "80";

   .probe = check;

}

backend server2 {

   .host = "172.16.29.20";

   .port = "80";

   .probe = check;

}

sub vcl_init {

   new static = directors.round_robin();

   static.add_backend(server1);

   static.add_backend(server2);

}

sub vcl_recv {

   set req.backend_hint = static.backend();

   if (req.url ~ "(?i)^/login") {

       return(pass);

   }

acl purgers {

"127.0.0.0"/8;

}

sub vcl_recv {

if (req.method == "PURGE") {

if (!client.ip ~ purgers) {

return(synth(405,"Purging not allowed for " + client.ip));

}

return(purge);

}

}

sub vcl_purge {

return (synth(200,"Purged"));

}

sub vcl_backend_response {

}

sub vcl_deliver {

}

* 注意:default.vcl的配置文件使用的类c语言的编程方式,那么就会有一个问题,被调用的函数需要在调用前定义,所有定义引擎的时候需要注意顺序

### server1的配置

yum install httpd

echo 1 > /var/www/html/index.html

mkdir /var/www/html/login/

echo login1 > /var/www/html/login/index.html


### server2的配置

yum install httpd

echo 2 > /var/www/html/index.html

mkdir /var/www/html/login/

echo login2 > /var/www/html/login/index.html


### 使用zabbix监控varnish的模板

下载路径如下https://raw.githubusercontent.com/rdvn/zabbix-templates/master/varnish

* 注意:下载的时候要在raw把内容复制到一个文件里,然后导入使用,右键另存为的不是源码不可以使用。

zabbix的使用可以参考http://oldking.blog.51cto.com/10402759/1889514




# 总结

在这个缓存为王的时代,熟练使用varnish很重要。


本文出自 “老王linux旅程” 博客,请务必保留此出处http://oldking.blog.51cto.com/10402759/1895032

以上是关于varnish简单入门的主要内容,如果未能解决你的问题,请参考以下文章

varnish基础入门使用

Varnish缓存机制详细介绍及简单配置

缓存服务之varnish的简单应用

HTTP加速器——VARNISH

Squid 和 Varnish 代理服务器的简单搭建

varnish安装