如何搭建一个最基本的varnish系统

1.什么是varnish?

Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好
之前的squid加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的硬盘里，客户读取的速率很慢，代理的效率低
现在的varnish加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的内存里，客户读取的速率很快，代理的效率高
varnish代理服务器的工作方式有两种
（1）仅仅作为一个代理服务器：帮客户端去问服务端要数据，要回来的数据直接给客户端自己不缓存一份，这种情况是客户的隐私信息、
热点信息、更新比较快的数据，不缓存，只代理。
（2）既代理又缓存：帮客户端去问服务端要数据，要回来的数据先给自己缓存一份，然后再发给客户端，这种情况是用于更新比较慢的数据，此时varnish既代理又缓存。

2.为什么要有varnish加速缓存代理服务器？

比如：我们国家使用微信的用户非常多，微信的服务商腾讯总部在深圳
当每个地区的用户使用微信访问腾讯服务器的资源的时候，访问量太大
对于深圳的服务器来说，会造成很大的访问压力，甚至会造成服务器瘫痪
对于每个地区的用户来数，如果都去访问腾讯的总部服务器，会造成网络拥塞，使得客户的访问很缓慢，不利于用户的使用
现在腾讯总部给每个地区都放varnish代理服务器，每个地区的微信使用用户想访问深圳资源的时候
都会间接去问自己地区的varnish代理服务器要资源
如果varnish代理服务器上面没有资源，此时varnish代理服务器就会去向深圳的服务器要资源，将要回来的资源视情况而定给自己缓存一份，然后再给客户端发一份。这种情况下，varnish代理服务器的数量远远少于微信用户的数量，即使所有的varnish代理服务器同时向深圳总部的服务器要资源的时候，也不会给深圳的服务器造成很大的压力，对微信使用的客户端和深圳总部的服务端都有好处
假如代理服务器缓存了一些更新慢的数据，当客户端再次要这个数据的时候，代理服务器会直接返回给客户端，不需要再去问深圳的服务器要资源，那么这就是把varnish服务器叫做加速器的原因，加快了客户端和服务端之间的访问速率
注意：以上我是仅仅使用微信举个例子，其实所有的互联网企业使用加速器的原理是一样的

3.varnish加速器的工作流程

Varnish与一般服务器软件类似，分为master（management）进程和child（worker ，主要做cache的工作）进程。
master进程读入命令，进行一些初始化，然后fork并监控child进程。
child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。
针对文件缓存部分，master读入存储配置，调用合适的存储类型，然后创建/读入相应大小的缓存大文件。
接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。
在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中
（如果超出系统的虚拟内存，mmap失败，进程会减少原来的配置mmap大小，然后继续mmap）
此时创建并初始化空闲存储结构体，挂到存储管理结构体，以待分配。
接着，真正的工作开始，Varnish的某个负责接受新HTTP连接的线程开始等待用户，如果有新的HTTP连接过来，它总负责接收，
然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的URI，查找已有的object，
如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。
分配缓存的过程是这样的：它根据所读到object的大小，创建相应大小的缓存文件。
为了读写方便，程序会把每个object的大小变为最接近其大小的内存页面倍数。
然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。
如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。
如果缓存已满，就根据LRU机制，把最旧的object释放掉。
释放缓存的过程是这样的：有一个超时线程，检测缓存中所有object的生存期
如果超初设定的TTL（Time To Live）没有被访问，就删除之，并且释放相应的结构体及存储内存
注意释放时会检查该存储内存块前面或后面的空闲内存块
如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。
整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的object都考虑是在内存中
如果系统内存不足，系统会自动将其换到swap空间，而不需要varnish程序去控制。

4.搭建一个最基本的varnish代理缓存服务器

步骤一：装虚拟机
先装一个7.3或者7.5版本的虚拟机，采用网络安装或者本地安装
这个之前已经学过，就不过多的赘述
装这个虚拟机的时候采用自动分区，安装的时候文件个数比较少，速度也就比较快
步骤一：封装虚拟机



…
下面步骤参考下面链接
https://blog.csdn.net/qq_36417677/article/details/102721814
区别：
分区选择自动创建分区


等等

步骤二：给redhat虚拟机配置基本的信息
（1）ip addr show 查看redhat虚拟机网卡的名字

cd /etc/sysconfig/network-scripts
ls
vi ifcfg-ens3
DEVICE=ens3
BOOTPROTO=none
ONBOOT=yes
IPADDR=172.25.8.1查看自己真机的私有网段
PREFIX=24
GATEWAY=172.25.8.250真机的ip
DNS1=114.114.114.114
systemctl restart network

（3）关闭 NetworkManager这个服务（网络管理员）
因为这个服务管理主机的网络，DNS等等，如果不关闭，我修改了网络配置文件之后
如果重启网络服务， NetworkManager这个服务可能会还原我的设置

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

（4）在真机上面搭建共享yum源，为了虚拟机redhat可以使用这个共享yum源

yum install httpd -y
systemctl start httpd
mkdir /var/www/html/haha
mount 镜像（7.3/7.5） /var/www/html/haha
cd /var/www/html/haha
ls

在真机上安装apache服务



（5）给redhat虚拟机配置yum源(让虚拟机使用真机的网络yum源

cd /etc/yum.repos.d/
ls
vi dvd.repo
[rhel7.3]
name=rhel7.3
baseurl=http://172.25.12.250/haha
gpgcheck=0
yum clean all
yum repolist
yum install -y vim lftp net-tools bash-*（不能tab补全的原因）
安装一些最基本的东西

（6）vim /boot/grub2/grub.cfg编辑开机引导文件
在100行后面加上 net.ifnames=0
使得给redhat虚拟机建立快照的网卡名称是eth开头，我们之后的实验所用的所有虚拟机都给装的这个虚拟机建立快照


（7）做本地解析 vim /etc/hosts

172.25.8.250 真机名
172.25.8.1 server1
172.25.8.2 server2
172.25.8.3 server3

（8）关闭selinux的状态

vim /etc/sysconfig/selinux

（9）关闭防火墙

systemctl stop firewalld
systemctl disabled firewalld

（10）改主机名

hostnameclt set-hostname server1

（11）检查以上操作，poweroff关闭虚拟机

虚拟机每开启一次，就会产生日志，生成很多文件，占用内存

步骤三：在真机上面清理redhat虚拟机的缓存
在真机上面：

yum install libguestfs-tools-c-1.32.7-3.el7.x86_64 -y
cd /var/lib/libvirts/images
ls查看虚拟机母盘的名字
virt-sysprep -d generic

此时就可以删除虚拟机redhat的软链接（相当于快捷方式）了

步骤四：给redhat虚拟机创建3个快照，用来做后续的做实验

qemu-img create -f qcow2 -b generic.qcow2 node1
qemu-img create -f qcow2 -b generic.qcow2 node2
qemu-img create -f qcow2 -b generic.qcow2 node3
du -sh node*查看一下三个快照的大小

步骤五：接下来给快照node1和node2导入镜像，开始做实验

登录node1和node2快照
改名字server1 server2
改ip 172.25.8.1 172.25.8.2
这次的yum源直接就能用
然后用真机连接两个快照server1 server2

将node1和node2的ip地址、主机名、yum源已经配置好




接下来将在node1上面搭建varnish代理服务器，node2上面搭建web服务器，真机是一个客户端

步骤六：将真机上面的三个varnish安装包给node1快照
在node1上面 yum install -y 安装varnish服务

在node1（server1）上安装这三种包

步骤七：查看varnish服务的一些基本配置信息

rpm -qa | grep varnish查看版本
rpm -qc varnish查看一下服务的配置文件

/etc/logrotate.d/varnish   #是基本的环境变量
/etc/varnish/varnish.params  #是服务的基本配置文件
安装varnish服务之后就会自动建立这个用户
 id varnish

vim /usr/lib/systemd/system/varnish.service是varnish服务启动脚本
里面有一些最基本的参数：允许开启的文件个数 内存锁定大小
ulimit -l查看系统的内存大小
free -m查看系统的剩余内存
sysctl -a | grep file查看系统允许开启文件的最大个数

ulimit -n

编辑varnish系统参数限制文件
vim /etc/security/limits.conf

varnish nofile 131072
varlish memlock 82000
systemctl start varnish

netstat -tnlp

现在node1上面varnish代理服务器已经搭建好

步骤8：把node2搭建成一个web服务器

yum install -y httpd
systemctl start httpd
vim /var/www/html/index.html
www.westos.org
curl localhost可以看到web已经搭建好了

步骤9：node1上面设置，将node1作为一个代理服务器，它的后端服务器是node2这个web服务器
客户端请求web服务器的资源通过node1这个代理服务器

vim /etc/varnish/defaults.cvl
将ip改为172.25.12.2（改称node2的ip）
80
systemctl restart varnish
netstat -tnlp

步骤10：在真机上面进行测试，真机是一个客户端
真机想通过node1（varnish代理缓存服务器）访问node2（web服务器）的web资源
curl 172.25.8.1(找的是172.25.8.2的资源)
vim /etc/hosts 文件 做本地解析

步骤11：继续在node1上面配置

vim /etc/varnish/defaults.cvl
写入sub vcl_deliver模块，如下图所示
写入两种情况：node1有缓存 node1没有缓存
systemctl restart varnish

步骤12：在真机上面进行测试
curl -I 172.25.8.1


步骤13：在node1上面varnishadm ban req.url “~” / 清除缓存，

步骤14：继续在真机上面测试


步骤15：再次验证

curl -I 172.25.12.1/index.html
在node1上
varnishadm ban req.url "~" /index.html