Vanish 详解

时间 2019-11-08

标签 vanish 详解繁體版

原文原文链接

一、varnish 概述：html

varnish是一款高性能且开源的方向代理服务器和HTTP加速器，它的开发者poul-Henning kamp FreeBSD 核心的开发人员之一。varnish采用全新的软件体系机构，和如今的硬件体系配合紧密，
varnish是一个轻量级的cache和反向代理软件。先进的设计理念和成熟的设计框架式varnish的主要特色。如今的varnish总共代码量不大，虽然功能在不断改进，可是还须要继续丰富增强nginx

二、vanish系统架构：官方架构如以下：web

varnish主要运行两个进程：Management进程和Child进程(也叫Cache进程)。
Management进程主要实现应用新的配置、编译VCL、监控varnish、初始化varnish以及提供一个命令行接口等。Management进程会每隔几秒钟探测一下Child进程以判断其是否正常运行，若是在指定的时长内未获得Child进程的回应，Management将会重启此Child进程。
Child进程包含多种类型的线程，常见的如：
Acceptor线程：接收新的链接请求并响应；
Worker线程：child进程会为每一个会话启动一个worker线程，所以，在高并发的场景中可能会出现数百个worker线程甚至更多；
Expiry线程：从缓存中清理过时内容；
Varnish依赖“工做区(workspace)”以下降线程在申请或修改内存时出现竞争的可能性。在varnish内部有多种不一样的工做区，其中最关键的当属用于管理会话数据的session工做区。正则表达式

# ps -aux | grep varnish
root      5436  0.0  0.2 112300  1196 ?        Ss   04:19   0:00 /usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /etc/varnish/default.vcl -T 127.0.0.1:6082 -t 120 -w 50,1000sh -g varnish -S /etc/varnish/secret -s malloc,100M
varnish   5437  0.0  0.7 1242232 3464 ?        Sl   04:19   0:00 /usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /etc/varnish/default.vcl -T 127.0.0.1:6082 -t 120 -w 50,1000sh -g varnish -S /etc/varnish/secret -s malloc,100M

三、varnish日志：express

为了与系统的其它部分进行交互，Child进程使用了能够经过文件系统接口进行访问的共享内存日志(shared memory log)，所以，若是某线程须要记录信息，其仅须要持有一个锁，然后向共享内存中的某内存区域写入数据，再释放持有的锁便可。而为了减小竞争，每一个worker线程都使用了日志数据缓存。
共享内存日志大小通常为90M，其分为两部分，前一部分为计数器，后半部分为客户端请求的数据。varnish提供了多个不一样的工具如varnishlog、varnishncsa或varnishstat等来分析共享内存日志中的信息并可以以指定的方式进行显示。编程

# rpm -ql varnish
/etc/logrotate.d/varnish           # varnish 默认启用了日志滚动的功能；日志滚动的脚本文件；
/etc/rc.d/init.d/varnish           # varnish 的服务启动脚本文件；
/etc/rc.d/init.d/varnishlog        # 分析共享内存日志中信息工具的服务启动脚本；      
/etc/rc.d/init.d/varnishncsa         
/etc/sysconfig/varnish             # varnish 全局配置文件
/etc/varnish                       # varnish 主配置文件目录
/etc/varnish/default.vcl           # varnish 默认的配置文件
/usr/bin/varnish_reload_vcl        # 相关的一些二进制程序

varnishstat：由于这几个参数比较重要；因此这这里列出了；后端

client connections accepted ： 表示客户端反向代理服务器成功发起HTTP请求的数量
client request recceived： 表示到如今为止：浏览器向反向代理服务器发送HTTP请求累计数，因为可能使用长链接所以这个值通常会大于"client connections accepted的值"
cache his ： 表示反向代理服务器在缓存区中查找而且命中的次数。
cache misses： 表示直接访问后端主机的请求数量：也就是非命中数：
N struct object ： 表示当前的缓存内容数量；
N expired object ： 表示当过时的缓存内容数量；
N LRU moved objects ： 表示淘汰的缓存内容个数；

varnishlog 自带的参数以下：浏览器

-a 当把日志写到文件里时，使用附加，而不是覆盖。
-b 只显示 varnishd 和后端服务器的日志。
-C 匹配正则表达式的时候，忽略大小写差别。
-c 只显示 varnishd 和客户端的日志。
-D 以进程方式运行
-d 在启动过程当中处理旧的日志，通常状况下，varnishhist 只会在进程写入日志后启动。
-I regex 匹配正则表达式的日志，若是没有使用-i 或者-I，那么全部的日志都会匹配。
-i tag  匹配指定的 tag，若是没有使用-i 或者-I，那么全部的日志都会被匹配。
-k num  只显示开始的 num 个日志记录。
-n 指定 varnish 实例的名字，用来获取日志，若是没有指定，默认使用主机名。
-o 以请求 ID 给日志分组，这个功能没多大用。若是要写到一个文件里使用 -w 选项。
-P file 记录 PID 号的文件
-r file 从一个文件读取日志，而不是从共享内存读取。
-s sum  跳过开始的 num 条日志。
-u 无缓冲的输出。
-V  显示版本，而后退出。
-w file 把日志写到一个文件里代替显示他们，若是不是用-a 参数就会发生覆盖，若是 varnishlog 在写日志时，接收到一个 SIGHUP 信号，他会建立一个新的文件,老的文件能够移走。
-X regex 排除匹配正则表达式的日志。

varnishncsa 工具详解：缓存

-a 当把日志写到文件里时，使用附加，而不是覆盖。
-b 只显示varnishd和后端服务器的日志。
-C 匹配正则表达式的时候，忽略大小写差别。
-c 只显示varnishd和客户端的日志。
-D 以进程方式运行
-d 在启动过程当中处理旧的日志，通常状况下，varnishhist只会在进程写入日志后启动。
-f 在日志输出中使用X-Forwarded-ForHTTP头代替client.ip。
-I regex 匹配正则表达式的日志，若是没有使用-i或者-I，那么全部的日志都会匹配。
-i tag 匹配指定的tag，若是没有使用-i或者-I，那么全部的日志都会被匹配。
-n 指定varnish实例的名字，用来获取日志，若是没有指定，默认使用主机名。
-P file记录PID号的文件
-r file从一个文件读取日志，而不是从共享内存读取。
-w file把日志写到一个文件里代替显示他们，若是不是用-a参数就会发生覆盖，若是varnishlog在写日志时，接收到一个SIGHUP信号，他会建立一个新的文件，老的文件能够移走。
-X regex 排除匹配正则表达式的日志。
-x tag 排除匹配tag的日志。

varnishd命令参# varnishd -help：安全

At least one of -d, -b, -f, -M, -S or -T must be specified
usage: varnishd [options]
    -a address:port              # HTTP listen address and port          # 表示Varnish对httpd的监听地址及端口 
    -b address:port              # backend address and port              #　表示后端服务器地址及端口 
                                 #    -b <hostname_or_IP>
                                 #    -b '<hostname_or_IP>:<port_or_service>'
    -C                           # print VCL code compiled to C language 
    -d                           # debug　　　　　　　　　　　　　　　　　　　　#表示后端服务器地址及端口 　　　　　　　　　　　　
    -f file                      # VCL script　　　　　　　　　　　　　　　　　# 指定vanish服务器的配置文件
    -F                           # Run in foreground　　　　　　　　　　　　 
    -h kind[,hashoptions]        # Hash specification　　　　　　　　　　
                                 #   -h critbit [default]
                                 #   -h simple_list
                                 #   -h classic
                                 #   -h classic,<buckets>
    -i identity                  # Identity of varnish instance
    -l shl,free,fill             # Size of shared memory file
                                 #   shl: space for SHL records [80m]
                                 #   free: space for other allocations [1m]
                                 #   fill: prefill new file [+]
    -M address:port              # Reverse CLI destination.
    -n dir                       # varnishd working directory           # 指定Varnish服务器的配賢文件 指定服务器参数，用来优化Varnish性能 
    -P file                      # PID file　　　　　　　　　　　　　　　　　 # varnish进程pid文件存放路径

    -p param=value               # set parameter　　　　　　　　　　　　　　 # 指定服务器参数，用来优化vanish性能
    -s kind[,storageoptions]     # Backend storage specification
                                 #   -s malloc
                                 #   -s file  [default: use /tmp]
                                 #   -s file,<dir_or_file>
                                 #   -s file,<dir_or_file>,<size>
                                 #   -s persist{experimenta}
                                 #   -s file,<dir_or_file>,<size>,<granularity>
    -t                           # Default TTL　　　　　　　　　　　　　　　　#  指定默认ttl值；单位为s；

    -S secret-file               # Secret file for CLI authentication   #  指定认证文件 
    -T address:port              # Telnet listen address and port       #  设定varnish的telnet管理地址及端口 telnet 交互式模式调试服务器
    -V                           # version　　　　　　　　　　　　　　　　　　 # 显示varnish版本号和版权信息
    -w int[,int[,int]]           # Number of worker threads　　　　　　　  # 设定Varnish的工做线程数；经常使用的方式有：
                                 #   -w <fixed_count>　　　　　　　　　　　 -w min，max
                                 #   -w min,max　　　　　　　　　　　　　　　如：-w5 ，512000，30
                                 #   -w min,max,timeout [default: -w2,500,300]
    -u user                      # Priviledge separation user id

四、VCL：

Varnish Configuration Language (VCL)是varnish配置缓存策略的工具，它是一种基于“域”(domain specific)的简单编程语言，它支持有限的算术运算和逻辑运算操做、容许使用正则表达式进行字符串匹配、容许用户使用set自定义变量、支持if判断语句，也有内置的函数和变量等。使用VCL编写的缓存策略一般保存至.vcl文件中，其须要编译成二进制的格式后才能由varnish调用。事实上，整个缓存策略就是由几个特定的子例程如vcl_recv、vcl_fetch等组成，它们分别在不一样的位置(或时间)执行，若是没有事先为某个位置自定义子例程，varnish将会执行默认的定义。
VCL策略在启用前，会由management进程将其转换为C代码，然后再由gcc编译器将C代码编译成二进制程序。编译完成后，management负责将其链接至varnish实例，即child进程。正是因为编译工做在child进程以外完成，它避免了装载错误格式VCL的风险。所以，varnish修改配置的开销很是小，其能够同时保有几份尚在引用的旧版本配置，也可以让新的配置即刻生效。编译后的旧版本配置一般在varnish重启时才会被丢弃，若是须要手动清理，则可使用varnishadm的vcl.discard命令完成。

五、varnish的后端存储：

varnish支持多种不一样类型的后端存储，这能够在varnishd启动时使用-s选项指定。后端存储的类型包括：
(1)file：使用特定的文件存储所有的缓存数据，并经过操做系统的mmap()系统调用将整个缓存文件映射至内存区域(若是条件容许)；
(2)malloc：使用malloc()库调用在varnish启动时向操做系统申请指定大小的内存空间以存储缓存对象；
(3)persistent(experimental)：与file的功能相同，但能够持久存储数据(即重启varnish数据时不会被清除)；仍处于测试期；

varnish没法追踪某缓存对象是否存入了缓存文件，从而也就无从得知磁盘上的缓存文件是否可用，所以，file存储方法在varnish中止或重启时会清除数据。而persistent方法的出现对此有了一个弥补，但persistent仍处于测试阶段，例如目前尚没法有效处理要缓存对象整体大小超出缓存空间的状况，因此，其仅适用于有着巨大缓存空间的场景。

选择使用合适的存储方式有助于提高系统性，从经验的角度来看，建议在内存空间足以存储全部的缓存对象时使用malloc的方法，反之，file存储将有着更好的性能的表现。然而，须要注意的是，varnishd实际上使用的空间比使用-s选项指定的缓存空间更大，通常说来，其须要为每一个缓存对象多使用差很少1K左右的存储空间，这意味着，对于100万个缓存对象的场景来讲，其使用的缓存空间将超出指定大小1G左右。另外，为了保存数据结构等，varnish自身也会占去不小的内存空间。

为varnishd指定使用的缓存类型时，-s选项可接受的参数格式以下：

malloc[,size] 或
file[,path[,size[,granularity]]] 或
persistent,path,size {experimental}
file中的granularity用于设定缓存空间分配单位，默认单位是字节，全部其它的大小都会被圆整。

六、varnish的特色：

一、基于内存进行缓存，重启后数据将消失。
二、利用虚拟内存方式，I\O性能好。
三、支持设置0~60秒的精确缓存时间。
四、VCL配置管理比较灵活。
五、具备强大的管理功能，例如top、stat、admin、list 等。
六、状态机设计巧妙、结构清晰。
七、利用二叉堆管理缓存文件，可达到积极删除目的。

七、开始安装varnish

varnish的安装很是简单，下面逐步介绍；

7.一、接着，创建Vanish用于以及用户组，而且建立Varnish缓存目录和日志目录

# useradd  -s /sbin/nologin varnish # mkdir  /data/vanish/cache -pv # mkdir  /data/vanish/log # chown  -R varnish:varnish /data/vanish/cache/ # chown  -R varnish:varnish /data/vanish/log/

7.二、获取Varnish软件

Varnish的官方网址为 https://www.varnish-cache.org/ ，这里有varnish的最新说明文档及版本升级记录，在此网站中能够找到varnish在SourceForge中的下载连接。目前，The current stable release of Varnish Cache 3 is 3.0.5，下载完成后包名为varnish-3.0.5.tar.gz，这里以此版本为例，进行安装配置。

7.三、安装pcre 官方站点： http://www.pcre.org/ 下载完成的包名为 pcre-8.35.zip

若是没有安装pcre，在编译varnish-3.0.5.tar.gz 以上版本时，会提示找不到pcre库，而pcre库是为了兼容正则表达式，因此必须安装pcre库。下面是pcre的安装过程：

若是安装pcre出现以下错误时：

# useradd  -s /sbin/nologin varnish # mkdir  /data/vanish/cache -pv # mkdir  /data/vanish/log # chown  -R varnish:varnish /data/vanish/cache/ # chown  -R varnish:varnish /data/vanish/log/

解决办法： 按提示应该是文件时间问题，新建立的时间既然比如今的文件时间晚，系统时间问题

hwclock --set --date="月/日/年 小时：分钟：秒钟"
    hwclock --hctosys
# hwclock  --set --date "04/09/2014 00:00:00"
# hwclock  --hctosys
# unzip pcre-8.35.zip
# cd pcre-8.35
# ./configure  --prefix=/usr/local/pcre/
# make && make install

hwclock --hctosys是让上面设置的硬件时间同系统时间同步

7.四、安装Varnish

这里讲Varnish 安装到/usr/loca 目录下,操做以下：

# tar  xvf varnish-3.0.5.tar.gz
# cd varnish-3.0.5
# export PKG_CONFIG PATH=/usr/local/pcre/lib/pkgconfig
# ./configure  --prefix=/usr/local/varnish \
--enable-dependency-trackin \
--enable-debugging-symbols \
 --enable-developer-warnings
# cp redhat/varnish.initrc  /etc/init.d/vanish
# cp redhat/varnish.sysconfig  /etc/sysconfig/varnish

其中，"PKG_CONFIG_PATH" 是指定Varnish查找pcre库的路径。若是pcre安装在其它路径下，在这里指定相应路径即可，varnish默认查找pcre库的路径为/usr/local/lib/pkgconfig。最后两步操做时复制一些Varnish守护进程的初始化脚本文件，这些脚本文件用户varnish的启动，关闭等方面。

至此，varnish安装完毕了！

八、配置Varnish

8.一、 VCL 使用说明

VCL 即为 varnish configuration Language，用来定义varnish的存取策略。VCL 语法比较简单，跟C和perl比较相似，可使用指定运算符"="、比较运算符"="、逻辑运算符"!&&!!"等形式；还支持正则表达式和用"~"进行ACL匹配运算；还可使用"set"这样的关键字指定变量。 VCL 的语法遵循特定的格式：

VCL内置函数

(1)

用于接收和处理请求。当请求到达并被成功接收后调用，经过判断请求的数据来决定如何处理请求

pass：表示进入pass模式，把请求控制权交给val_pass函数。

pipe：表示进入pipe模式，把请求控制权交个vcl_pipe函数。

error code[reason]：表示返回"code"给客户端，并放弃处理该请求。"code"是错误标识，例如200和405等。"reason"是错误提示信息。

(2)vcl_pipe函数

此函数在进入pipe模式时被调用，用户将请求直接传递至后端主机，在请求和返回的内容没有改变的状况下，将不变的内容返回给客户端，直到这个连接被关闭。

此函数通常以以下几个关键字结束。

erro code[reason]

pipe

(3) vcl_pass 函数

此函数在进入pass模式时被调用，用户将请求直接传递至后端主机。后端主机在应答数据后将应答数据发送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容。

此函数通常以以下几个关键字结束。

error code [reason]

pass

(4)lookup

表示在缓存中查找被请求的对象，而且根据查找的结果把控制权交给函数vcl_hit 或函数vcl_miss

(5)vcl_hit 函数

在执行lookip指令后，在缓存中找到请求的内容后将自动调用该函数。此函数通常以以下几个关键字结束。

deliver：表示将找到的内容发送给客户端，并把控制权交个函数vcl_deliver

error code[reason]

pass

(6) vcl_miss 函数

在执行lookup指令后，在缓存中没有找到请求的内容时自动调用该方法。此函数可用于判断是否须要从后端服务器获取内容

此函数通常以下几个关键字结束。

fetch：表示从后端获取请求的内容，并把控制权交个vcl_fetch函数

error code [reason]

pass

(7)vcl_fetch函数

在后端主机更新缓存而且获取内容后调用该方法，接着经过判断获取的内容来决定是将内容放入缓存，仍是直接返回给客户端。

此函数通常以以下几个关键字结束。

error code [reason]

pass

deliver

(8)vcl_deliver函数

将在缓存中找到请求的内容发送给客户端前调用此方法。

此函数通常以以下几个关键字结束。

error code [reason]

deliver

(9)vcl_timeout 函数

在缓存内同到期前吊桶此函数。

此函数通常以以下几个关键字结束。

discard：表示从缓存中清除该内同

fetch。

(10)vcl_discard函数

在缓存内容到期后或缓存空间不够时，自动吊桶该函数。

此函数通常以下几个关键字结束。

keep:表示将内容继续保存在缓存中。

discard。

8.二、VCL处理流程图

经过以上对VCL函数的介绍，其实大家应该都发现了，其实每一个函数之间都是相互关联的。以下如所示：Varnish处理HTTP请求的运行流程图：

Varnish处理HTTP请求的过程大体分为以下几个步骤；

(1)Receive状态。也就是请求处理的入口状态，根据VCL规则判断该请求应该pass或者pipe，仍是进入lookup(本地查询)

(2)Lookup状态。进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，不然进入Miss状态。

(3)Pass状态。在此状态下，会进入后端请求，即进入fetch状态。

(4)Fetch状态。在fetch状态下，对请求进行后端获取，发送请求，得到数据，并进行本地存储。

(5)Deliver状态。将获取到的数据发送给客户端，而后完成本次请求。

8.三、内置公用变量

VCL内置的公用变量能够在不一样的VCL函数中。下面根据这些公用变量使用的不一样阶段依次介绍。当请求到达后，可使用的公用变量以下表：

公用变量名称	含义
req.backend	指定对应后端主机
server.ip	表示服务器IP
client.ip	表示客户端IP
req.request	指定请求的类型，例如GET、HEAD和POST等
req.url	指定请求的地址
req.proto	表示客户端发起请求的HTTP协议版本
req.http.header	表示对应请求中的HTTP头部信息
req.restarts	表示请求重启的次数，默认最大值为4

Varnish 在向后端主机请求时，可使用的公用变量以下表：

公用变量名称	含义
beresp.request	指定请求的类型，例如GET或HEAD等
beresp.url	指定请求的地址
beresp.proto	表示客户端发起请求中的HTTP协议版本
beresp.http.header	表示对应请求中的HTTP头部信息
beresp.ttl	表示缓存的生存周期,也就是cache保留多长时间单位是秒

从cache或后端主机获取内容后，可使用的公用变量以下表所示：

公用变量名称	含义
obj.status	表示返回内容的请求状态码,例如200、30二、504等
obj.cacheable	表示返回的内容是否能够缓存，也就是说,若是HTTP返回的是200、20三、300、30一、30二、404或410等，而且有非0的生存期，则能够缓存
obj.valid	表示是不是有效的HTTP应答
obj.response	表示返回内容的请求状态信息
obj.proto	表示返回内容的HTTP协议版本
obj.ttl	表示返回内容的生存周期，也就是缓存时间，单位是秒
obj.lastuse	表示返回上一次请求到如今的间隔时间，单位是秒

对客户端应答时，可使用的公用变量，以下表所示：

公用变量名称	含义
resp.status	表示返回客户端的HTTP状态代码
resp.proto	表示返回客户端的HTTP协议版本
resp.http.header	表示返回客户端的HTTP头部信息
resp.response	表示返回客户端的HTTP状态信息

9、HTTP协议与varnish

一、缓存相关的HTTP首部

HTTP协议提供了多个首部用以实现页面缓存及缓存失效的相关功能，这其中最经常使用的有：
(1)Expires：用于指定某web对象的过时日期/时间，一般为GMT格式；通常不该该将此设定的将来过长的时间，一年的长度对大多场景来讲足矣；其经常使用于为纯静态内容如JavaScripts样式表或图片指定缓存周期；
(2)Cache-Control：用于定义全部的缓存机制都必须遵循的缓存指示，这些指示是一些特定的指令，包括public、private、no-cache(表示能够存储，但在从新验正其有效性以前不能用于响应客户端请求)、no-store、max-age、s-maxage以及must-revalidate等；Cache-Control中设定的时间会覆盖Expires中指定的时间；
(3)Etag：响应首部，用于在响应报文中为某web资源定义版本标识符；
(4)Last-Mofified：响应首部，用于回应客户端关于Last-Modified-Since或If-None-Match首部的请求，以通知客户端其请求的web对象最近的修改时间；
(5)If-Modified-Since：条件式请求首部，若是在此首部指定的时间后其请求的web内容发生了更改，则服务器响应更改后的内容，不然，则响应304(not modified)；
(6)If-None-Match：条件式请求首部；web服务器为某web内容定义了Etag首部，客户端请求时能获取并保存这个首部的值(即标签)；然后在后续的请求中会经过If-None-Match首部附加其承认的标签列表并让服务器端检验其原始内容是否有能够与此列表中的某标签匹配的标签；若是有，则响应304，不然，则返回原始内容；
(7)Vary：响应首部，原始服务器根据请求来源的不一样响应的可能会有所不一样的首部，最经常使用的是Vary: Accept-Encoding，用于通知缓存机制其内容看起来可能不一样于用户请求时Accept-Encoding-header首部标识的编码格式；
(8)Age：缓存服务器能够发送的一个额外的响应首部，用于指定响应的有效期限；浏览器一般根据此首部决定内容的缓存时长；若是响应报文首部还使用了max-age指令，那么缓存的有效时长为“max-age减去Age”的结果；

10、Varnish状态引擎(state engine)

VCL用于让管理员定义缓存策略，而定义好的策略将由varnish的management进程分析、转换成C代码、编译成二进制程序并链接至child进程。varnish内部有几个所谓的状态(state)，在这些状态上能够附加经过VCL定义的策略以完成相应的缓存处理机制，所以VCL也常常被称做“域专用”语言或状态引擎，“域专用”指的是有些数据仅出现于特定的状态中。
一、VCL状态引擎

在VCL状态引擎中，状态之间具备相关性，但彼此间互相隔离，每一个引擎使用return(x)来退出当前状态并指示varnish进入下一个状态。
varnish开始处理一个请求时，首先须要分析HTTP请求自己，好比从首部获取请求方法、验正其是否为一个合法的HTT请求等。当这些基本分析结束后就须要作出第一个决策，即varnish是否从缓存中查找请求的资源。这个决定的实现则须要由VCL来完成，简单来讲，要由vcl_recv方法来完成。若是管理员没有自定义vcl_recv函数，varnish将会执行默认的vcl_recv函数。然而，即使管理员自定义了vcl_recv，但若是没有为自定义的vcl_recv函数指定其终止操做(terminating)，其仍将执行默认的vcl_recv函数。事实上，varnish官方强烈建议让varnish执行默认的vcl_recv以便处理自定义vcl_recv函数中的可能出现的漏洞。

二、VCL语法

VCL的设计参考了C和Perl语言，所以，对有着C或Perl编程经验者来讲，其很是易于理解。其基本语法说明以下：
(1)//、#或/* comment */用于注释
(2)sub $name 定义函数
(3)不支持循环，有内置变量
(4)使用终止语句，没有返回值
(5)域专用
(6)操做符：=(赋值)、==(等值比较)、~(模式匹配)、!(取反)、&&(逻辑与)、||(逻辑或)

VCL的函数不接受参数而且没有返回值，所以，其并不是真正意义上的函数，这也限定了VCL内部的数据传递只能隐藏在HTTP首部内部进行。VCL的return语句用于将控制权从VCL状态引擎返回给Varnish，而非默认函数，这就是为何VCL只有终止语句而没有返回值的缘由。同时，对于每一个“域”来讲，能够定义一个或多个终止语句，以告诉Varnish下一步采起何种操做，如查询缓存或不查询缓存等。

三、VCL的内置函数

VCL提供了几个函数来实现字符串的修改，添加bans，重启VCL状态引擎以及将控制权转回Varnish等。

regsub(str,regex,sub)
regsuball(str,regex,sub)：这两个用于基于正则表达式搜索指定的字符串并将其替换为指定的字符串；但regsuball()能够将str中可以被regex匹配到的字符串通通替换为sub，regsub()只替换一次；
ban(expression)：
ban_url(regex)：Bans全部其URL可以由regex匹配的缓存对象；
purge：从缓存中挑选出某对象以及其相关变种一并删除，这能够经过HTTP协议的PURGE方法完成；
hash_data(str)：
return()：当某VCL域运行结束时将控制权返回给Varnish，并指示Varnish如何进行后续的动做；其能够返回的指令包括：lookup、pass、pipe、hit_for_pass、fetch、deliver和hash等；但某特定域可能仅能返回某些特定的指令，而非前面列出的所有指令；
return(restart)：从新运行整个VCL，即从新从vcl_recv开始进行处理；每一次重启都会增长req.restarts变量中的值，而max_restarts参数则用于限定最大重启次数。

四、vcl_recv

vcl_recv是在Varnish完成对请求报文的解码为基本数据结构后第一个要执行的子例程，它一般有四个主要用途：
(1)修改客户端数据以减小缓存对象差别性；好比删除URL中的www.等字符；
(2)基于客户端数据选用缓存策略；好比仅缓存特定的URL请求、不缓存POST请求等；
(3)为某web应用程序执行URL重写规则；
(4)挑选合适的后端Web服务器；

可使用下面的终止语句，即经过return()向Varnish返回的指示操做：
pass：绕过缓存，即不从缓存中查询内容或不将内容存储至缓存中；
pipe：不对客户端进行检查或作出任何操做，而是在客户端与后端服务器之间创建专用“管道”，并直接将数据在两者之间进行传送；此时，keep-alive链接中后续传送的数据也都将经过此管道进行直接传送，并不会出如今任何日志中；
lookup：在缓存中查找用户请求的对象，若是缓存中没有其请求的对象，后续操做极可能会将其请求的对象进行缓存；
error：由Varnish本身合成一个响应报文，通常是响应一个错误类信息、重定向类信息或负载均衡器返回的后端web服务器健康状态检查类信息；

vcl_recv也能够经过精巧的策略完成必定意义上的安全功能，以将某些特定的攻击扼杀于摇篮中。同时，它也能够检查出一些拼写类的错误并将其进行修正等。

Varnish默认的vcl_recv专门设计用来实现安全的缓存策略，它主要完成两种功能：
(1)仅处理能够识别的HTTP方法，而且只缓存GET和HEAD方法；
(2)不缓存任何用户特有的数据；

安全起见，通常在自定义的vcl_recv中不要使用return()终止语句，而是再由默认vcl_recv进行处理，并由其作出相应的处理决策。

下面是一个自定义的使用示例：

sub vcl_recv {
if (req.http.User-Agent ~ "iPad" ||
req.http.User-Agent ~ "iPhone" ||
req.http.User-Agent ~ "Android") {
set req.http.X-Device = "mobile";
} else {
set req.http.X-Device = "desktop";
}
}

此例中的VCL建立一个X-Device请求首部，其值可能为mobile或desktop，因而web服务器能够基于此完成不一样类型的响应，以提升用户体验。

五、vcl_fetch

如前面所述，相对于vcl_recv是根据客户端的请求做出缓存决策来讲，vcl_fetch则是根据服务器端的响应做出缓存决策。在任何VCL状态引擎中返回的pass操做都将由vcl_fetch进行后续处理。vcl_fetch中有许多可用的内置变量，好比最经常使用的用于定义某对象缓存时长的beresp.ttl变量。经过return()返回给varnish的操做指示有：
(1)deliver：缓存此对象，并将其发送给客户端(经由vcl_deliver)；
(2)hit_for_pass：不缓存此对象，但能够致使后续对此对象的请求直接送达到vcl_pass进行处理；
(3)restart：重启整个VCL，并增长重启计数；超出max_restarts限定的最大重启次数后将会返回错误信息；
(4)error code [reason]：返回指定的错误代码给客户端并丢弃此请求；

默认的vcl_fetch放弃了缓存任何使用了Set-Cookie首部的响应。

11、修剪缓存对象

一、缓存内容修剪

提升缓存命中率的最有效途径之一是增长缓存对象的生存时间(TTL)，可是这也可能会带来反作用，好比缓存的内容在到达为其指定的有效期之间已经失效。所以，手动检验缓存对象的有效性或者刷新缓存是缓存颇有可能成为服务器管理员的平常工做之一，相应地，Varnish为完成这类的任务提供了三种途径：HTTP 修剪(HTTP purging)、禁用某类缓存对象(banning)和强制缓存未命令(forced cache misses)。

这里须要特殊说明的是，Varnish 2中的purge()操做在Varnish 3中被替换为了ban()操做，而Varnish 3也使用了purge操做，但为其赋予了新的功能，且只能用于vcl_hit或vcl_miss中替换Varnish 2中经常使用的set obj.ttl=0s。

在具体执行某清理工做时，须要事先肯定以下问题：
(1)仅须要检验一个特定的缓存对象，仍是多个？
(2)目的是释放内存空间，仍是仅替换缓存的内容？
(3)是否是须要很长时间才能完成内容替换？
(4)这类操做是个平常工做，仍是仅此一次的特殊需求？

二、移除单个缓存对象

purge用于清理缓存中的某特定对象及其变种(variants)，所以，在有着明确要修剪的缓存对象时可使用此种方式。HTTP协议的PURGE方法能够实现purge功能，不过，其仅能用于vcl_hit和vcl_miss中，它会释放内存工做并移除指定缓存对象的全部Vary:-变种，并等待下一个针对此内容的客户端请求到达时刷新此内容。另外，其通常要与return(restart)一块儿使用。下面是个在VCL中配置的示例。

acl purgers {
    "127.0.0.1";
    "192.168.0.0"/24;
}

sub vcl_recv {
    if (req.request == "PURGE") {
        if (!client.ip ~ purgers) {
            error 405 "Method not allowed";
        }
        return (lookup);
    }
}
sub vcl_hit {
    if (req.request == "PURGE") {
        purge;
        error 200 "Purged";
    }
}
sub vcl_miss {
    if (req.request == "PURGE") {
        purge;
        error 404 "Not in cache";
    }
}
sub vcl_pass {
    if (req.request == "PURGE") {
        error 502 "PURGE on a passed object";
    }
}

客户端在发起HTTP请求时，只须要为所请求的URL使用PURGE方法便可，其命令使用方式以下：

# curl -I -X PURGE http://varniship/path/to/someurl

三、强制缓存未命中

在vcl_recv中使用return(pass)可以强制到上游服务器取得请求的内容，但这也会致使没法将其缓存。使用purge会移除旧的缓存对象，但若是上游服务器宕机而没法取得新版本的内容时，此内容将没法再响应给客户端。使用req.has_always_miss=ture，可让Varnish在缓存中搜寻相应的内容但却老是回应“未命中”，因而vcl_miss将后续地负责启动vcl_fetch从上游服务器取得新内容，并以新内容缓存覆盖旧内容。此时，若是上游服务器宕机或未响应，旧的内容将保持原状，并可以继续服务于那些未使用req.has_always_miss=true的客户端，直到其过时失效或由其它方法移除。

四、Banning

ban()是一种从已缓存对象中过滤(filter)出某此特定的对象并将其移除的缓存内容刷新机制，不过，它并不阻止新的内容进入缓存或响应于请求。在Varnish中，ban的实现是指将一个ban添加至ban列表(ban-list)中，这能够经过命令行接口或VCL实现，它们的使用语法是相同的。ban自己就是一个或多个VCL风格的语句，它会在Varnish从缓存哈希(cache hash)中查找某缓存对象时对搜寻的对象进行比较测试，所以，一个ban语句就是相似匹配全部“以/downloads开头的URL”，或“响应首部中包含nginx的对象”。例如：
ban req.http.host == "magedu.com" && req.url ~ "\.gif$"

定义好的全部ban语句会生成一个ban列表(ban-list)，新添加的ban语句会被放置在列表的首部。缓存中的全部对象在响应给客户端以前都会被ban列表检查至少一次，检查完成后将会为每一个缓存建立一个指向与其匹配的ban语句的指针。Varnish在从缓存中获取对象时，老是会检查此缓存对象的指针是否指向了ban列表的首部。若是没有指向ban列表的首部，其将对使用全部的新添加的ban语句对此缓存对象进行测试，若是没有任何ban语句可以匹配，则更新ban列表。

对ban这种实现方式持反对意见有有之，持同意意见者亦有之。反对意见主要有两种，一是ban不会释放内存，缓存对象仅在有客户端访问时被测试一次；二是若是缓存对象曾经被访问到，但却不多被再次访问时ban列表将会变得很是大。同意的意见则主要集中在ban可让Varnish在恒定的时间内完成向ban列表添加ban的操做，例如在有着数百万个缓存对象的场景中，添加一个ban也只须要在恒定的时间内便可完成。其实现方法本处再也不详细说明。

12、Varnish检测后端主机的健康状态

Varnish能够检测后端主机的健康状态，在断定后端主机失效时能自动将其从可用后端主机列表中移除，而一旦其从新变得可用还能够自动将其设定为可用。为了不误判，Varnish在探测后端主机的健康状态发生转变时(好比某次探测时某后端主机忽然成为不可用状态)，一般须要连续执行几回探测均为新状态才将其标记为转换后的状态。

每一个后端服务器当前探测的健康状态探测方法经过.probe进行设定，其结果可由req.backend.healthy变量获取，也可经过varnishlog中的Backend_health查看或varnishadm的debug.health查看。

backend web1 {
.host = "www.magedu.com";
.probe = {
.url = "/.healthtest.html";
.interval = 1s;
.window = 5;
.threshold = 2;
}
}

.probe中的探测指令经常使用的有：

(1) .url：探测后端主机健康状态时请求的URL，默认为“/”；
(2) .request: 探测后端主机健康状态时所请求内容的详细格式，定义后，它会替换.url指定的探测方式；好比：
.request =
"GET /.healthtest.html HTTP/1.1"
"Host: www.magedu.com"
"Connection: close";
(3) .window：设定在断定后端主机健康状态时基于最近多少次的探测进行，默认是8；
(4) .threshold：在.window中指定的次数中，至少有多少次是成功的才断定后端主机正健康运行；默认是3；
(5) .initial：Varnish启动时对后端主机至少须要多少次的成功探测，默认同.threshold；
(6) .expected_response：指望后端主机响应的状态码，默认为200；
(7) .interval：探测请求的发送周期，默认为5秒；
(8) .timeout：每次探测请求的过时时长，默认为2秒；

所以，如上示例中表示每隔1秒对此后端主机www.magedu.com探测一次，请求的URL为http://www.magedu.com/.healthtest.html，在最近5次的探测请求中至少有2次是成功的(响应码为200)就断定此后端主机为正常工做状态。

若是Varnish在某时刻没有任何可用的后端主机，它将尝试使用缓存对象的“宽容副本”(graced copy)，固然，此时VCL中的各类规则依然有效。所以，更好的办法是在VCL规则中判断req.backend.healthy变量显示某后端主机不可用时，为此后端主机增大req.grace变量的值以设定适用的宽容期限长度。

7、Varnish使用多台后端主机

Varnish中可使用director指令将一个或多个近似的后端主机定义为一个逻辑组，并能够指定的调度方式(也叫挑选方法)来轮流将请求发送至这些主机上。不一样的director可使用同一个后端主机，而某director也可使用“匿名”后端主机(在director中直接进行定义)。每一个director都必须有其专用名，且在定义后必须在VCL中进行调用，VCL中任何能够指定后端主机的位置都可以按需将其替换为调用某已定义的director。

backend web1 {
.host = "backweb1.magedu.com";
.port = "80";
}

director webservers random {
.retries = 5;
{
.backend = web1;
.weight = 2;
}
{
.backend = {
.host = "backweb2.magedu.com";
.port = "80";
}
.weight = 3;
}
}

如上示例中，web1为显式定义的后端主机，而webservers这个directors还包含了一个“匿名”后端主机(backweb2.magedu.com)。webservers从这两个后端主机中挑选一个主机的方法为random，即以随机方式挑选。

Varnish的director支持的挑选方法中比较简单的有round-robin和random两种。其中，round-robin类型没有任何参数，只须要为其指定各后端主机便可，挑选方式为“轮叫”，并在某后端主机故障时再也不将其视做挑选对象；random方法随机从可用后端主机中进行挑选，每个后端主机都须要一个.weight参数以指定其权重，同时还能够director级别使用.retires参数来设定查找一个健康后端主机时的尝试次数。

Varnish 2.1.0后，random挑选方法又多了两种变化形式client和hash。client类型的director使用client.identity做为挑选因子，这意味着client.identity相同的请求都将被发送至同一个后端主机。client.identity默认为client.ip，但也能够在VCL中将其修改成所须要的标识符。相似地，hash类型的director使用hash数据做为挑选因子，这意味着对同一个URL的请求将被发往同一个后端主机，其经常使用于多级缓存的场景中。然而，不管是client还hash，当其倾向于使用后端主机不可用时将会从新挑选新的后端其机。

另外还有一种称做fallback的director，用于定义备用服务器，以下所示：

director b3 fallback {
{ .backend = www1; }
{ .backend = www2; } // will only be used if www1 is unhealthy.
{ .backend = www3; } // will only be used if both www1 and www2
// are unhealthy.
}

set client.identity = req.http.cookie

十3、varnish管理进阶

一、可调参数

Varnish有许多参数，虽然大多数场景中这些参数的默认值均可以工做得很好，然而特定的工做场景中要想有着更好的性能的表现，则须要调整某些参数。能够在管理接口中使用param.show命令查看这些参数，而使用param.set则能修改这些参数的值。然而，在命令行接口中进行的修改不会保存至任何位置，所以，重启varnish后这些设定会消失。此时，能够经过启动脚本使用-p选项在varnishd启动时为其设定参数的值。然而，除非特别须要对其进行修改，保持这些参数为默认值能够有效下降管理复杂度。

二、共享内存日志

共享内存日志(shared memory log)一般被简称为shm-log，它用于记录日志相关的数据，大小为80M。varnish以轮转(round-robin)的方式使用其存储空间。通常不须要对shm-log作出更多的设定，但应该避免其产生I/O，这可使用tmpfs实现，其方法为在/etc/fstab中设定一个挂载至/var/lib/varnish目录(或其它自定义的位置)临时文件系统便可。

三、线程模型(Trheading model)

varnish的child进程由多种不一样的线程组成，分别用于完成不一样的工做。例如：
cache-worker线程：每链接一个，用于处理请求；
cache-main线程：全局只有一个，用于启动cache；
ban lurker线程：一个，用于清理bans；
acceptor线程：一个，用于接收新的链接请求；
epoll/kqueue线程：数量可配置，默认为2，用于管理线程池；
expire线程：一个，用于移除老化的内容；
backend poll线程：每一个后端服务器一个，用于检测后端服务器的健康情况；

在配置varnish时，通常只需为关注cache-worker线程，并且也只能配置其线程池的数量，而除此以外的其它均非可配置参数。与此同时，线程池的数量也只能在流量较大的场景下才须要增长，并且经验代表其多于2个对提高性能并没有益处。

四、线程相关的参数(Threading parameters)

varnish为每一个链接使用一个线程，所以，其worker线程的最大数决定了varnish的并发响应能力。下面是线程池相关的各参数及其配置：

thread_pool_add_delay      2 [milliseconds] thread_pool_add_threshold 2 [requests] thread_pool_fail_delay 200 [milliseconds] thread_pool_max 500 [threads] thread_pool_min 5 [threads] thread_pool_purge_delay 1000 [milliseconds] thread_pool_stack 65536 [bytes] thread_pool_timeout 120 [seconds] thread_pool_workspace 16384 [bytes] thread_pools 2 [pools] thread_stats_rate 10 [requests]

其中最关键的当属thread_pool_max和thread_pool_min，它们分别用于定义每一个线程池中的最大线程数和最少线程数。所以，在某个时刻，至少有thread_pool_min*thread_pools个worker线程在运行，但至多不能超出thread_pool_max*thread_pools个。根据须要，这两个参数的数量能够进行调整，varnishstat命令的n_wrk_queued能够显示当前varnish的线程数量是否足够，若是队列中始终有很多的线程等待运行，则能够适当调大thread_pool_max参数的值。但通常建议每台varnish服务器上最多运行的worker线程数不要超出5000个。

当某链接请求到达时，varnish选择一个线程池负责处理此请求。而若是此线程池中的线程数量已经达到最大值，新的请求将会被放置于队列中或被直接丢弃。默认线程池的数量为2，这对最繁忙的varnish服务器来讲也已经足够。

十4、Varnish的命令行工具

一、varnishadm命令

命令语法：varnishadm [-t timeout] [-S secret_file] [-T address:port] [-n name] [command [...]]

经过命令行的方式链接至varnishd进行管理操做的工具，指定要链接的varnish实例的方法有两种：
-n name —— 链接至名称为“name”的实例；
-T address:port —— 链接至指定套接字上的实例；

其运行模式有两种，当不在命令行中给出要执行的"command"时，其将进入交互式模式；不然，varnishadm将执行指定的"command"并退出。要查看本地启用的缓存，可以使用以下命令进行。

# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 storage.list