varnish3.0

Posted dccrussell

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了varnish3.0相关的知识,希望对你有一定的参考价值。

Varnish是一款高性能、开源的反向代理服务器和缓存服务器。Varnish使用内存缓存文件来减少响应时间和网络带宽消耗。这个项目是由挪威的一家报纸Verdens Gang的网络分支起始的,其架构设计和开发总监Poul-Henning Kamp是FreeBSD核心的开发人员之一,最初项目的管理与基础设施及额外开发由挪威一家Linux咨询公司Linpro提供。

说到varnish,squid就不得不提及。squid算得上是古老的缓存服务器。由于varnish先进的设计理念,性能要比squid高上许多,varnish还可以通过端口进行管理,使用正则语句做到清除指定缓存的功能,这些squid都做不到。但是varnish在高并发的情况下,资源消耗较高,而且varnish服务进程一旦崩溃,重启,内存中的缓存数据将全部丢失。

1、Varnish架构

技术分享图片

varnish是基于现代设备设计的服务项目,所以仅支持64位系统。Manager Process 负责处理请求任务,保证每个任务分配一个worker threads。所以varnish是一个重线程型服务。除此之外,manager process 包含接受CLI命令控制的功能,包括调整运行参数,vcl配置更新。初始化子进程Cacher Process,并按一定频率检测cacher在线与否。

Cacher Process 功能:

  • 监听客户端请求
  • 管理worker 线程
  • 存储缓存数据
  • 记录流量日志
  • 根据统计更新计数器数值

varnish使用工作空间减少每个线程需要请求或者修改内存时发生的争抢。varnish具有多个工作空间,最为重要的是  session 工作空间,用来维护session 相关数据。

在日志记录方面,Cacher process 使用VSL 机制来处理,这是一个共享内存空间,可以有效减少记录阻塞。日志空间分为两个部分,分别记录格式化的请求日志,以及计数器数值。可以通过varnish自带log工具进行查看,分析或者永久存储日志。

2、varnish的缓存存储机制( Storage Types):

2.1  malloc[,size]
调用malloc(),为缓存分配内存空间,此种方式不可避免地会产生碎片文件,额外占用内存

[,size]用于定义空间大小;重启后所有缓存项失效;


2.2   file[,path[,size[,granularity]]]
varnish创建一个文件用来存储缓存数据,然后将此文件映射到内存空间中,但是该文件并不会持久保存数据,重启后所有缓存项失效;

granularity  递增大小


2.3   persistent,path,size
持久文件存储,黑盒;重启后所有缓存项有效;但是处于实验阶段,问题较多;

 

2.4  MSE

Massive Storage Engine,在plus版可用,意味着收费。该模式设计的容量巨大可达100TB,磁盘性能要优于file模式。

总结:当内存空间不足以存储所有缓存数据时,应选择file 或 mse 存储。所以一般配置成file存储,当然付费的话使用mse更佳。

3、Varnish程序环境

本文主机环境为CentOS7.2,Varnish 版本 4.0

varnish的程序环境:
  /etc/varnish/varnish.params: 配置varnish服务进程的工作特性,例如监听的地址和端口,缓存机制;
  /etc/varnish/default.vcl:配置各Child/Cache线程的工作属性;
主程序:
  /usr/sbin/varnishd

CLI interface:
  /usr/bin/varnishadm
Shared Memory Log交互工具:
  /usr/bin/varnishhist
  /usr/bin/varnishlog
  /usr/bin/varnishncsa
  /usr/bin/varnishstat
  /usr/bin/varnishtop
测试工具程序:
  /usr/bin/varnishtest
VCL配置文件重载程序:
  /usr/sbin/varnish_reload_vcl
Systemd Unit File:
  /usr/lib/systemd/system/varnish.service   #varnish服务
  /usr/lib/systemd/system/varnishlog.service  #logger daemon
  /usr/lib/systemd/system/varnishncsa.service   #lgger daemon  in apache format

3.1  varnishd 主程序的选项:

systemd方式启动varnish 服务,主程序指定的配置文件为:/etc/varnish/varnish.params
  -a address[:port][,address[:port][...],默认为6081端口;    #对客户端开放的监听端口地址
  -T address[:port],默认为6082端口;                                #管理工具连接的端口地址
  -s [name=]type[,options],定义缓存存储机制;                   #可以多次定义此项
  -u user
  -g group
  -f config:VCL配置文件;
  -F:运行于前台;
  ...

线程相关的参数:
在线程池内部,其每一个请求由一个线程来处理; 其worker线程的最大数决定了varnish的并发响应能力;

thread_pools:Number of worker thread pools. 线程池数量,默认值为2,官方介绍2个线程池已足够用,再增加该数值没有提升效果;
thread_pool_max:The maximum number of worker threads in each pool.每个线程池创建最大线程的数量;默认5000
thread_pool_min:The minimum number of worker threads in each pool. 每个线程池保持最少线程的数量;额外意义为“最大空闲线程数”;默认100

所以我们经常需要调整的参数就是thread_pool_max,thread_pool_min
计算varnish最大并发连接数=thread_pools * thread_pool_max

thread_pool_timeout: 线程空闲时间,超过阈值则摧毁线程 
thread_pool_add_delay:创建一个新线程的延迟时间,默认值为0s
thread_pool_destroy_delay:摧毁一个线程的延迟时间,默认值为2s;

设置方式:

运行动态修改通过varniadm接口设置
命令:param.set

永久有效的方法:
运行时参数:/etc/varnish/varnish.params文件, DEAMON_OPTS

  -p param=value:设定运行参数及其值; 可重复使用多次;
  -r param[,param...]: 设定指定的参数为只读状态
  例如: DAEMON_OPTS="-p thread_pool_min=2 -p thread_pool_max=10000 -p thread_pool_timeout=300"

 

3.2  varnish管理工具

  用法:varnishadm -S /etc/varnish/secret -T [ADDRESS:]PORT

    指定了连接密钥,安装varnish时生成的。指明管理接口的端口地址,默认为127.0.0.1 可省略。

进入之后,输入help [command] 获取帮助

梳理常用指令

配置文件相关:
vcl.list :查看vcl 列表
vcl.load:装载,加载并编译;
vcl.use:激活;
vcl.discard:删除;
vcl.show [-v] <configname>:查看指定的配置文件的详细信息;-v 选项查看默认vcl代码

运行时参数:
param.show -l:显示列表;
param.show <PARAM>
param.set <PARAM> <VALUE>   设定参数

缓存存储:
storage.list

后端服务器:
backend.list

 

4、VCL 基础

Varnish Configuration Language (VCL) 是一种动态语言,用来描述请求处理和制定缓存策略。vcl配置内容由manager process 创建的VCC子进程转换成C语言代码,再经由gcc编译成共享对象,最后装载到cacher process中生效。

想要写好vcl配置,需要了解varnish内部报文的处理流程,其核心关键词是 finite state machine——有限状态引擎。下图为简单的处理流程:

技术分享图片

图中椭圆中代表状态引擎。这些状态引擎被概念化后成为vcl中的子函数,以vcl_前缀开头,在引擎中,可以对每个请求中的http 首部或者其他各方面的内容进行检查或者修改操作。return(action)代码表示中断一个状态,其中action是vcl关键字,用来指向下一步去向哪个状态引擎。

每个请求都被单独分开处理;状态之间存在相关性,但彼此间互相隔离。

在下一步了解vcl 配置代码之前,先了解一下vcl背后的基础概念。当varnish处理一个请求时,首先要解析这个请求。从http 首部中分析出请求的方法类型,判断是否为有效的请求方法等等,当基础解析完成之后,依据第一个策略进行检查进而做出判断。vcl就是根据由各个策略组成的规则来进行各种动作。

上图可分为两个区域:前端frontend和后端backend

前端状态可分为四个阶段:

第一阶段:

vcl_recv     #接受客户端请求,进行判断

第二阶段:

vcl_hash   #进行hash计算,不进行判读处理,计算之后送往各个第三阶段状态引擎中

第三阶段:

vcl_hit        #缓存命中,到此处理

vcl_pass      #缓存跳过

vcl_miss      #缓存未命中

vcl_purge   #清理缓存

vcl_pipe       #对于无法识别的http首部请求直接送入管道,交由后端处理不再处理

第四阶段:

vcl_deliver: 大部分响应客户端的请求由此发送回去

vcl_synth:接受来自vcl_purge的任务,对于指定的缓存,进行删除处理

后端状态分为两阶段:

第一阶段:

    vcl_backend_fetch:接受来自前端状态vcl_pass或vcl_miss 的任务,向后端主机请求

第二阶段:

    vcl_backend_response:接受到后端返回正常状态报文,进行是否缓存检查,需要缓存的响应将其缓存,不需要则不缓存,最后送到vcl_deliver

    vcl_backend_error:后端主机错误,返回错误响应

除此之外还有两个特殊状态引擎:

vcl_init:在处理任何请求之前要执行的vcl代码:主要用于初始化VMODs;
vcl_fini:所有的请求都已经结束,在vcl配置被丢弃时调用;主要用于清理VMODs;

5、VCL语法

 

一个大前提:varnish 4.0版本开始,vcl拥有自己的默认规则,它不可移除,总是追加在自定义的规则之后。

(1) vcl配置文件以 vcl 4.0 开头;
(2) C语言注释风格://, # and /* foo */ ;
(3) 子函数使用sub关键字声明, 例如sub vcl_recv { ...};
(4) 无循环, state-limited variables(受限于引擎的内建变量);
(5) 使用return(action)中断引擎状态,指向下一步处理,action为关键字 ,例如: return(pass);
(6) 可动态装载;

5.1  三类主要语法:

sub subroutine {
...
}

if CONDITION {
...
} else {
...
}

return(), hash_data()

5.2 内建函数和关键字

函数:

hash_data():指明哈希计算的数据;减少差异,以提升命中率;
regsub(str,regex,sub):把str中被regex第一次匹配到字符串替换为sub;主要用于URL Rewrite
regsuball(str,regex,sub):把str中被regex每一次匹配到字符串均替换为sub;
return():
ban(expression)
ban_url(regex):Bans所有的其URL可以被此处的regex匹配到的缓存对象;
synth(status,"STRING"):purge操作;

关键字:
  call subroutine, return(action),new,set,unset

下图为指定函数智能用于特定子函数中

  技术分享图片

操作符:
  ==, !=, ~, >, >=, <, <=
  逻辑操作符:&&, ||, !
  变量赋值:=

正则匹配:~

  (?i)  表示忽略大小写

      同时注意匹配的规则如果是字符串需要"  " 引起

 5.3  变量类型:

内建变量:

req.*:request,表示由客户端发来的请求报文相关;
req.http.*
req.http.User-Agent, req.http.Referer, ...
bereq.*:由varnish发往BE主机的httpd请求相关;
bereq.http.*
beresp.*:由BE主机响应给varnish的响应报文相关;
beresp.http.*
resp.*:由varnish响应给client相关;
obj.*:存储在缓存空间中的缓存对象的属性;只读;

常用变量:

bereq.*, req.*:
bereq.http.HEADERS
bereq.request:请求方法;
bereq.url:请求的url;
bereq.proto:请求的协议版本;
bereq.backend:指明要调用的后端主机;

req.url:请求的url
req.http.Cookie:客户端的请求报文中Cookie首部的值;
req.http.User-Agent:浏览器类型


beresp.*, resp.*:
beresp.http.HEADERS
beresp.status:响应的状态码;
reresp.proto:协议版本;
beresp.backend.name:BE主机的主机名;
beresp.ttl:BE主机响应的内容的余下的可缓存时长;

obj.*
obj.hits:此对象从缓存中命中的次数;
obj.ttl:对象的ttl值

server.*
server.ip
server.hostname
client.*
client.ip

 同时注意变量是受状态限制的,下图为可用表

技术分享图片

用户自定义:
  set    variable=value    #定义变量
  unset   variable           #撤销定义的变量

6、vcl 配置示例

 6.1  响应首部增加一个cache是否命中的字段X-cache

~]$ vi /etc/varnish/default.vcl

技术分享图片
sub vcl_deliver {
  if ( obj.hits>0 ) {
    set resp.http.X-cache = " HIT via " + server.ip;
  }
   else {
    set resp.http.X-cache = " MISS via "+ server.ip;
   }

}
技术分享图片

~]$ varnish_reload_vcl           #重载vcl

或者 使用varnishadm 进入管理接口,使用如下命令

~]$ vcl.load   test1   default.vcl         #装载vcl,并指定一个命名test1

如果返回状态码200,则语法正确,编译通过

~]$ vcl.use  test1      #如下图所示vcl新配置已生效

技术分享图片

使用curl命令测试,第一次无缓存,则未命中

技术分享图片

第二次访问,已有缓存,则命中

技术分享图片

 

6.2  强制对某类资源的请求不检查缓存:

 设定访问/login 或 /admin 下的目录任何文件都不查询缓存

vcl_recv {
	if (req.url ~ "(?i)^/(login|admin/)") {
	   return(pass);
	}
}

6.3  对于特定类型的资源,例如公开的图片等,取消cookie,并强行设定其可以由varnish缓存的时长;

技术分享图片
sub vcl_backend_response {
if (beresp.http.cache-control !~ "s-maxage") { if (bereq.url ~ "(?i).(jpg|jpeg|png|gif|css|js)$") { unset beresp.http.Set-Cookie; set beresp.ttl = 3600s; } }
}
技术分享图片

6.4  缓存对象的修剪:purge, ban

(1) 能执行purge操作
sub vcl_purge {
return (synth(200,"Purged"));
}

(2) 何时执行purge操作
sub vcl_recv {
if (req.method == "PURGE") {
return(purge);
}
...
}

上面的定义比较简单,任何人都可以对cache做清理操作,下面则根据IP地址做出限制

添加此类请求的访问控制法则:
acl purgers {
"127.0.0.0"/8;
"10.1.0.0"/16;
}

sub vcl_recv {
if (req.method == "PURGE") {
if (!client.ip ~ purgers) {                      #这里正则匹配的时acl列表,不需要引号
return(synth(405,"Purging not allowed for " + client.ip));       #来自不属于acl定义的purgers组的purge请求则返回错误代码
}
return(purge);
}
...
}

 6.5   设定使用多个后端主机

backend default {
  .host = "172.16.100.6";
  .port = "80";
}

backend appsrv {
  .host = "172.16.100.7";
  .port = "80";
}

sub vcl_recv {
  if (req.url ~ "(?i).php") {
    set req.backend_hint = appsrv;            #php资源转发至appsrv处理
  } else {
      set req.backend_hint = default;
   }
  ...
}

 7、定义后端服务器组

 7.1  定义后端服务器组

使用前需要在vcl配置中导入模块:
import director;

示例:
import directors; # load the directors

backend server1 {                 
.host =
.port =
}
backend server2 {
.host =
.port =
}

sub vcl_init {                    #在init 子函数中定义
new GROUP_NAME = directors.round_robin();         #创建组,并命名为GROUP_NAME,指定调度方法
GROUP_NAME.add_backend(server1);                    #为组添加服务器成员
GROUP_NAME.add_backend(server2);
}

sub vcl_recv {
# send all traffic to the bar director:
set req.backend_hint = GROUP_NAME.backend();  #组引用方法
}

 7.2  后端主机健康检测机制

varnish可以对后端主机进行健康检测,动态进行移除或恢复后端主机调度列表

.probe:定义健康状态检测方法;
.url:检测时请求的URL,默认为"/";
.request:发出的具体请求;
.request =
"GET /.healthtest.html HTTP/1.1"
"Host: www.magedu.com"
"Connection: close"
.window:基于最近的多少次检查来判断其健康状态;
.threshhold:最近.window中定义的这么次检查中至有.threshhold定义的次数是成功的;
.interval:检测频度;
.timeout:超时时长;
.expected_response:期望的响应码,默认为200;

健康状态检测的配置方式:
(1) probe PB_NAME = { }
backend NAME = {
.probe = PB_NAME;
...
}

(2) backend NAME {
.probe = {
...
}
}

示例:
probe check {                               #probe   先定义好
.url = "/.healthcheck.html";
.window = 5;
.threshold = 4;
.interval = 2s;
.timeout = 1s;
}

backend default {
.host = "10.1.0.68";
.port = "80";
.probe = check;        #引用检测方式
}

backend appsrv {
.host = "10.1.0.69";
.port = "80";
.probe = check;
}

 在varniadm 命令接口中查看检测状况

技术分享图片

 

 8、varnish日志

用来查看 shared memory log 日志工具

8.1  varnishstat - Varnish 缓存统计查看

默认为动态刷新显示方式

技术分享图片

选项

-1  打印当前统计结果
-f FILED_NAME   显示指定字段的统计
-l:可用于-f选项指定的字段名称列表;

example:
# varnishstat -1 -f MAIN.cache_hit -f MAIN.cache_miss


8.2  varnishtop - Varnish 日志 字段排名

默认动态更新

技术分享图片

 

选项:

-1   打印当前排名
-i taglist  显示指定字段排名。可以同时使用多个-i选项,也可以一个选项跟上多个标签 ","分隔;
-I <[taglist:]regex>  基于正则显示字段
-x taglist:排除列表
-X <[taglist:]regex>  基于正则排除字段

8.3  varnishlog - Display Varnish logs

显示share memory 中的日志记录

技术分享图片

8.4  varnishncsa - Display Varnish logs in Apache / NCSA combined log format

显示share memory 中的日志记录,apache日志形式

技术分享图片

 

9.HTTP协议Cache-control头域

Cache-Control头域 

  Cache -Control指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置 Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。请求时的缓存指令包括no-cache、no-store、max-age、 max-stale、min-fresh、only-if-cached,响应消息中的指令包括public、private、no-cache、no- store、no-transform、must-revalidate、proxy-revalidate、max-age。各个消息中的指令含义如 下: 

  Public指示响应可被任何缓存区缓存。 

  Private指示对于单个用户的整个或部分响应消息,不能被共享缓存处理。这允许服务器仅仅描述当用户的部分响应消息,此响应消息对于其他用户的请求无效。 

  no-cache指示请求或响应消息不能缓存 

  no-store用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。 

  max-age指示客户机可以接收生存期不大于指定时间(以秒为单位)的响应。 

  min-fresh指示客户机可以接收响应时间小于当前时间加上指定时间的响应。 

  max-stale指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值,那么客户机可以接收超出超时期指定值之内的响应消息。

  s-maxage=[秒] — 类似于max-age属性,除了他应用于共享(如:代理服务器)缓存


































































































































































































































































以上是关于varnish3.0的主要内容,如果未能解决你的问题,请参考以下文章

Varnish/Apache 随机 503 错误

Magento CE 1.8:Varnish 不会清除 URL

微信小程序代码片段

VSCode自定义代码片段——CSS选择器

谷歌浏览器调试jsp 引入代码片段,如何调试代码片段中的js

片段和活动之间的核心区别是啥?哪些代码可以写成片段?