Varnish——CDN加速的实现(单个后端服务器及多个服务器实现负载均衡)

Varnish的工作原理图：

Varnish是一款高性能的开源HTTP加速器，具有反向代理，缓存的功能。

处理过程大致分为如下几个步骤:

    Receive 状态,也就是请求处理的入口状态,根据 VCL 规则判断该请求应该是 Pass 或 Pipe,或者进入 Lookup(本地查询)。
    Lookup 状态,进入此状态后,会在 hash 表中查找数据,若找到,则进入 Hit 状态,否则进入 miss 状态。
    Pass 状态,在此状态下,会进入后端请求,即进入 fetch 状态。
    Fetch 状态,在 Fetch 状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地的存储。
    Deliver 状态, 将获取到的数据发送给客户端,然后完成本次请求。

CDN简介：

CDN的全称——Content Delivery Network，即内容分发网络。
基本思路：是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。
通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。
其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。

主机环境：

rhel6 selinux and iptables disabled

实验环境的搭建：

官网下载rhel6.5的镜像，安装一个linux6.5的虚拟机（最小安装即可）
虚拟机的配置

（1） cd /etc/udev/rules.d ，删除以70开头的文件

（2）设置本地域名及解析vi /etc/hosts

(3) 设置网络

配置yum源（需搭建网络yum源，填写网络yum源地址）

baseurl写自己物理机的共享6.5yum源
yum clean all 清理缓存
yum repolist 查看可用的包

（4）设置selinux为disabled模式

（5）关闭防火墙（linux6.5中火墙采用iptables）

（6）现在需要的安装包

（7）设置完成之后poweroff而不能reboot

如果reboot，那么一切配置会全部失效

3.用快照的方式创建三个虚拟机
（1） cd /var/lib/libvirt/images/
（2）创建三个快照vm1，vm2，vm3

（3）进入虚拟机个管理界面（virt-manager），建立虚拟机

点击小灯泡

导入现有光盘镜像

选择刚才创建的快照vm1

给虚拟机命名

按上述方式创建三个虚拟机

配置三个虚拟机的主机名和网络

配置主机名

配置网络

重启服务

同样的另外两台虚拟机也进行同样的设置

配置好的信息如下：

server1 172.25.254.1

server2 172.25.254.2

server3 172.25.254.3

一. 部署单个后端服务器的varnish过程

配置server1：

在官网下载varnish-libs-3.0.5-1.el6.x86_64.rpm和varnish-3.0.5-1.el6.x86_64.rpm

http://varnish-cache.org/releases/install_redhat.html#install-redhat

yum install varnish-3.0.5-1.el6.x86_64.rpm
yum install varnish-libs-3.0.5-1.el6.x86_64.rpm

安装完成后，在系统的/etc/passwd中生成varnish用户，对varnish的访问控制实质上是对varnish用户的控制实现的

配置 varnish 服务端口

root@server1 ~]# vim /etc/sysconfig/varnish
 8 NFILES=131072         # 最多能打开的文件数，varnish会自动调整该值
 12 MEMLOCK=82000        # 最多能使用的内存空间，varnish会自动调整该值
 15 NPROCS="unlimited"   # 单个用户所能运行的最大线程数
 66 VARNISH_LISTEN_PORT=80  #修改端口

修改varnish用户的限制文件

因为varnish这个程序运行在varnish这个用户的私有空间内，内核对普通用户限制的最大文件数为1024.对varnish用户限制的最大文件数为131072，我们需要满足131072这个最大值。

[root@server1 ~]# vim /etc/security/limits.conf
##在End of file 下面加：
  varnish         -       nofile          131072  # 满足最多能打开的文件数
  varnish         -       memlock         82000
  varnish         -       nproc           unlimited

最大打开文件个数nfiles：varnish里是131072

但是使用sysctl -a | grep file 是98864 ，但是vm1没有这么多

修改：
（1） poweroff关闭server1
（2）进入虚拟机管理截面，点击小灯泡：将memory改成2048

（3）开启server1重新ssh连接sysctl -a | grep file 看到最大文件数是188464

配置一个后端服务器

root@server1 ~]# vim /etc/varnish/default.vcl 
backend default {
  .host = "172.25.254.2";  # 后端服务器的ip
  .port = "80";   # 后端服务器的端口
}

开启服务，编写配置文件后要重新加载默认文件

root@server1 ~]# /etc/init.d/varnish start
Starting Varnish Cache:                                    [  OK  ]
[root@server1 ~]# /etc/init.d/varnish reload

server2
1.安装apache

root@server2 ~]# yum install httpd -y

2.编写前端文件

root@server2 ~]# cd /var/www/html
[root@server2 html]# vim index.html
[root@server2 html]# cat index.html 
<h1>www.westos.org - server2</h1>

3.开启服务

root@server2 html]# /etc/init.d/httpd start

测试：
现在在真机上curl 172.25.254.1访问到的是server2的内容
在浏览器上搜172.25.254.1也是server2的内容

二、清除cdn缓存

编辑配置文件，查看缓存命中情况

root@server1 ~]# vim /etc/varnish/default.vcl
backend default {
  .host = "172.25.254.2";
  .port = "80";
}
 
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos.cache";
}                        # 在varnish中命中HIT访问的域名
else {
set resp.http.X-Cache = "MISS from westos cache";
}                        # 后端服务器中得到MISS访问的域名
return (deliver);
}

重新加载配置文件

root@server1 ~]# /etc/init.d/varnish reload

物理机测试：
第一次没有缓存到，则miss

第二次缓存到了，则hit，之后一直都是hit

清除缓存的命令（在server1清除）

[root@server1 ~]# varnishadm ban.url .*$           ##清除所有缓存
[root@server1 ~]# varnishadm ban.url /index.html   ##清除网页的缓存
[root@server1 ~]# varnishadm ban.url /admin/$      ##清除admin 目录缓存

再次测试：
显示miss，则清除缓存成功（否则为hit）

三、CDN加速的实现（多个后端服务器实现负载均衡）

server1：
部署varnish服务

server2
1.安装apache

[root@server2 ~]# yum install httpd -y

2.编写前端文件

[root@server2 ~]# cd /var/www/html
[root@server2 html]# vim index.html
<h1>www.westos.org - server2</h1>

server3：同上

[root@server3 ~]# cd /var/www/html
[root@server3 html]# vim index.html
<h1>bbs.westos.org - server3</h1>

一、配置多个后端服务的varnish

1.server1：配置varnish的default文件

2.重新加载配置文件

测试：

添加解析:

物理机中的访问测试

二、负载均衡

负载均衡(Load Balance，简称LB)是一种服务器或网络设备的集群技术。负载均衡将特定的业务(网络服务、网络流量等)分担给多个服务器或网络设备，从而提高了业务处理能力，保证了业务的高可用性。
负载均衡算法的种类有很多种，常见的负载均衡算法包括轮询法、随机法、源地址哈希法、加权轮询法、加权随机法、最小连接法等，应根据具体的使用场景选取对应的算法。
在varnish中我们采用的是轮询法，平衡对待每一个后端服务器。

测试：

三、一台主机多个解析（虚拟主机）:

1.在server3的httpd的默认发布目录中建立两个虚拟主机

[root@server3 ~]# vim /etc/httpd/conf/httpd.conf
 990 NameVirtualHost *:80   ##注释打开

##在最后编辑:
<VirtualHost *:80>
DocumentRoot /www
ServerName www.westos.org
</VirtualHost>

<VirtualHost *:80>
DocumentRoot /bbs
ServerName bbs.westos.org
</VirtualHost>

2.创建目录/www 和/bbs，并编辑相应的前端文件

[root@server3 ~]# mkdir /www
[root@server3 ~]# mkdir /bbs
[root@server3 ~]# cd /www
[root@server3 www]# vim index.html
<h1>www.westos.org - server3</h1>
[root@server3 www]# cd /bbs
[root@server3 bbs]# vim index.html
<h1>bbs.westos.org - server3</h1>

3.重启httpd服务

[root@server3 bbs]# /etc/init.d/httpd restart

测试：

在主机添加解析：

物理机中的访问测试