squid 代理

squid代理

课程目标

• 了解squid的应用场景
• 理解squid的工作原理和作用
• 理squid的代理类型（重点）
• 掌握squid的正向和透明代理的配置（重点）
• 能够根据需求对squid服务器做简单的访问控制

一、squid基本概述

1.squid是什么？用来做什么？

squid cache（简称squid）是流行最广的，使用最普遍的开源缓存代理服务器

2.squid的作用和应用场景有哪些？

• 用来做前置的web缓存，加快用户访问web的速度
• 代理内网用户访问互联网资源
• 设置访问控制策略，控制用户的上网行为
• 主要支持http、ftp等应用协议
• 官网地址：http://www.squid-cache.org/

3.常见的代理服务器软件

• squid 非常古老，功能齐全
• varnish 性能优于squid，功能相对没有squid多
• 其他 haproxy、nginx等

4.squid的工作原理

优点：减少访问请求，节约带宽

具有ACL（access control list）访问控制列表功能，对客户机上网行为灵活控制

对内网客户机具有保护作用

二、squid代理类型

1.正向代理

2.透明代理

正向代理的过程隐藏了真实的请求客户端，服务器不知道真实的客户端是谁，客户端请求的服务都被代理服务器代替请求。我们常说的代理就是正向代理，正向代理代理的是请求方，也就是客户端。

3.反向代理

反向代理的过程隐藏了真实的服务器，客户不知道真正提供服务的人是谁，客户端请求的服务都被代理服务器处理。反向代理代理的是响应方，也就是服务端。

4.总结

• 正向代理和透明代理中的代理服务器和客户端同属一个LAN，对server端是透明的，服务器并不知道自己为谁提供服务。作用都是让内网用户可以通过代理服务器上互联网，也可以提高访问速度，并且可以通过代理服务器的访问控制限制内网用户的上网行为。
• 反向代理的过程隐藏了真实的服务器，对客户端是透明的，客户端并不知道真正提供访问的服务器。可以起到负载均衡端作用，提高用户的访问速度。
• 两者的区别在于代理的对象不一样，正向代理代理的对象是客户端，反向代理代理的对象是服务端。
• 应用场景
  • 正向和透明代理：一般用于公司内网用户访问互联网，根据需求进行访问控制
  • 反向代理：一般用于公司服务器集群前做web缓存，提高用户访问效率，同时可以起到负责均衡作用，为互联网提供可持续端web服务。

三、squid代理服务器和SNAT|DNAT的区别

1.SNAT和DNAT

• 网络层次：网络层

  局域网用户访问外围走SNAT模式，同一个数据包，改变数据包头部的来源地址，再把数据包发到internet

• 作用：内网用户上外网（SNAT）和内网服务发布到公网（DNAT）

2.代理服务器模式

• 网络层次：应用层

  不改变数据包头信息，把数据包代理给Internet的服务器，基于应用层端过滤。

• 应用层：

  协议：http、ftp、pop、smtp、p2p等

• 作用：缓存页面，加速访问，ACL资源访问控制

• 反向代理：

  • Internet用户访问局域网服务器
  • squid做反向代理服务器，把用户端请求转发到后方端真实端服务器，可以做到负载均衡端效果，同时缓存用户经常访问的页面以提高访问速度。

四、了解squid代理软件相关信息

1.安装软件

squid在本地镜像里有，只需要配置好本地端yum源即可
yum -y install squid

2.软件的文件列表

rpm -ql squid
/etc/squid/squid.conf   配置文件
/etc/rc.d/init.d/squid  启动脚本
/usr/sbin/squid     二进制命令
/usr/share/doc/squid-3.1.23 手册
/var/log/squid      日志目录
/var/spool/squid    缓存目录

3.配置文件说明

[root@agent2 ~]# vim /etc/squid/squid.conf      简化的配置文件
[root@agent2 ~]# vim /usr/share/doc/squid-3.1.23/squid.conf.documented  查看文档
//设置监听端IP和端口号
http_port 3128
//额外提供给squid使用端内存大小
cache_mem   256MB(默认大小)
//设置squid磁盘缓存最大文件，超过4M端文件不保存到磁盘
maximum_object_size 4MB
//设置squid磁盘缓存最小文件
minimum_object_size 0 KB
//设置squid内存缓存最大文件，超过4M不保存到内存
maximum_object_size_in_memory 4096 KB
//定义squid端cache存放路径、cache目录容量（单位M）、一级缓存目录数量、二级缓存目录数量
cache_dir ufs /var/spool/squid 100 16 256

//log文件日志格式
#logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %>Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh
//log文件存放路径和日志格式
# access_log /var/log/squid/access.log squid
//设置缓存日志
cache_log /var/log/suqid/cache.log
//log轮转60天
logfile_rotate 60
//cache目录使用量大于95%时，开始清理旧的cache
cache_swap_high 95
//cache目录清理到90%时停止
cache_swap_low 90

//定义本地网段
acl localnet src 192.168.1.0/24
//允许本地网段使用
http_access allow localnet
//拒绝所有
http_access deny all
//主机名
visible_hostname xxx.xxxx.xxxx

//管理员邮箱
cache_mgr [email protected]
 

五、squid端正向代理配置

需求：内网用户通过浏览器指定代理服务器端ip和端口访问互联网中端web服务

环境：client：10.1.1.2
squid—server：10.1.1.1和2.2.2.1
web-server：2.2.2.2
（都是仅主机模式）
思路：
1.squid-server需要两个IP，一个公网一个私网
2.client端只需要和squid-server能互通就行，不需要指定gw和dns
3.client端需要在浏览器上设置代理服务器端IP和端口
4.squid-server可以上外网（要能访问2.2.2.2），client不能上外网，目的就是让squid代理内网用户访问互联网web服务
5.搭建一个web服务

步骤：
搭建squid-server服务器
1.安装软件
yum -y install squid

把主机名改为squid-server.itcast.cc 下面要用到，临时改就行，要求不严

2.根据需求修改配置文件
需求：代理内网所有用户访问互联网端web服务
cp /etc/squid/squid.conf /etc/squid/squid.conf.bak
vim /etc/squid/squid.conf
...
#http_access deny all   注释掉这行
http_access allow all   允许所有人来访问代理服务器

cache_dir ufs /var/spool/squid 100 16 256   取消掉前面注释，打开缓存目录
增加以下两行：
visible_hostname squid-server.itcast.cc     定义squid服务器主机名
access_log  /var/log/squid/access.log       定义访问日志

3.启动squid服务
service squid start
init_cache_dir /var/spool/squid... Starting squid: .       [ ok ]

服务器启动后会再缓存目录里产生以下一级、二级缓存目录文件
ls /var/spool/squid/
00 01 02 03 04 05 06 07 08 09 0A 0B 0C 0D 0E 0F  swap.state

查看端口3128已经处于监听状态

注意：如果再次重启会报以下警告：
WARNING cache_mem is larger than total disk cache space!
原因：默认情况下，cache_mem为256M，而squid端配置里磁盘缓存默认为100M
解决：
方法1：调小cache_mem的值
在配置文件中增加 cache_mem 100MB
方法2：调大磁盘缓存
修改配置文件中如下内容：
cache_dir ufs /var/spool/squid 256 16 256   ——>把100换成256
说明：squid缓存从 内存 ————> 磁盘
    cache_mem   /var/spool/squid
    
    
搭建web服务：
web-server：2.2.2.2

rpm -q httpd
做一个网页文件，带图片的，可以展示缓存,放到/var/www/html/里面
启动httpd


客户端测试：
client：10.1.1.2 注意：不需要设置网关和dns
配置代理服务器前：不能够直接访问web服务
ping 2.2.2.2 网络不可达
客户端内火狐浏览器访问http://2.2.2.1不能连接（因为没有打开转发功能echo 1 > /proc/sys/net/ipv4/ip_forward，此处不需要打开）
手动配置代理服务器ip和port
edit-->preferences--advanced-->network-->connection-->setting-->manual proxy configuration
输入代理服务器端内网地址10.1.1.1，port 3128
此时再输入http://2.2.2.2
能够看到自己端网页文件

内网不直接访问web服务器，但是通过代理服务器访问到了，这就是代理

假设web-server宕机，
service httpd stop
客户端重新输入http://2.2.2.2，仍能访问到

六、squid的透明代理配置

需求：内网用户通过代理服务器可以直接访问互联网中的web服务，不用指定proxy地址和端口

思路：
1.squid-server需要两个IP，一个公网一个私网
2.client端浏览器不需要指定代理服务器的IP和端口，但是需要指定网关为squid-server的私网地址
3.squid-server需要借助iptables将内网的80端口重定向到自己的3128端口帮内网用户代理上网
4.搭建一个web服务
（仅主机模式）

步骤：
client端浏览器清空刚刚的代理设置（不要忘记）
client端指定自己的默认网关为squid-server的私有地址
[root@client ~] route add default gw 10.1.1.1

squid-server端配置透明代理服务器并添加iptables规则：
1.修改squid配置文件
vim /etc/squid/squid.conf
http_port 3128 transparent  //在代理端口后面加上transparent（透明），代表透明代理
重启服务：
service squid restart

2.添加防火墙规则
iptables -t nat -A PREROUTING -s 10.1.1.0/24 -p tcp --dport 80 -j REDIRECT --to-port 3128
iptables -t nat -nL

说明：
-j REDIRECT 表示端口重定向，仅用于tcp和udp协议
This is only valid if the rule also specifies -p tcp or -p udp

3.客户端测试验证
1）打开浏览器，输入http://2.2.2.2    可以看到web-server的web页面
curl -I http://2.2.2.2/index.html   //查看是否缓存
。。。
X-Cache:HIT from squid-server.itcast.cc
X-Cache-Lookup:HIT from squid-server.itcast.cc:3128     //HIT代表命中，缓存

。。。
X-Cache:MISS from squid-server.itcast.cc
X-Cache-Lookup:MISS from squid-server.itcast.cc:3128    
2）web-server端，查看/var/log/httpd/access.log日志
3）squid-server端，查看/var/log/squid/access.log日志
4）测试web-server服务停止，squid-server是否缓存

只能上外网，访问页面，不能ping通2.2.2.2
另外：
windows不能访问是因为网关不同，网络不能访问squid-server端

七、squid实现访问控制

1.访问控制配置语法

1.禁止IP地址为192.168.0.100的客户机上网
    acl test src 192.168.0.100  //定义来源IP，test可以自己定义，代表定义端IP
    http_access deny test   //拒绝test后面定义端源IP ：192.168.0.100上网
可以把要管理的IP写到一个文件里，然后在src后面跟上“文件路径”

2.禁止192.168.1.0这个网段里端所有客户机上网
    acl test src 192.168.1.0/255.255.255.0
    或者
    acl test src 192.168.1.0/24
    http_access deny test
    
3.禁止用户访问IP为210.21.118.68的网站
    acl test dst 210.21.118.68
    http_access deny test

4.禁止用户访问域名为www.163.com的网站
    acl test dstdomain -i www.163.com   //-i 忽略大小写
    http_access deny test
        
5.禁止用户访问域名包含有163.com的网站
    acl test url_regex -i 163.com   //使用正则表达式匹配URL地址
    http_access deny test
    
6.禁止用户访问包含有sex关键字端URL
    acl test url_regex -i sex
    http_access deny test

7.禁止用户访问多个网址
    acl test dstdom_regex "/etc/squid/baddaturl"
    //如果网址太多，可以写成一个文件，然后在这个文件里一行一个网站写上要
    http_access deny test
    
8.vip用户没有任何限制
    acl vip arp 00：0c:29:79:0C:1A   //绑定mac地址
    http_access allow vip

9.禁止192.168.2.0这个子网内所有客户机在周一到周五的9点到18点上网
    acl test1 src 192.168.2.0/255.255.255.0
    acl test2 time MTWHF 9:00-18:00     /S日/M一/T二/W三/H四/F五/A六/D（周一到周五）
    http_access deny test1 test2
    
hwclock --hctosys   还原时间命令

10.禁止用户下载*.mp3,*.exe,*.zip,*.rar带有定义后缀名的文件
    acl test urlpath_regex -i \.mp3$ \.exe$ \.zip$ \.rar$ \.txt$
    //urlpath_regex 正则表达式匹配URL地址
    http_access deny test

注意：设置acl访问控制规则的时候，有先后顺序。第一条规则匹配上就不再继续往下，所以先把拒绝写在前面

2.应用案例

2.1根据IP地址访问控制

2.2根据域名访问控制

2.3根据时间和日期访问控制

2.4根据文件名访问控制

3.综合案例

八、反向代理（扩展）

需求：某公司内网搭建了一台web服务器，希望互联网用户来访问该web服务，越多越好

环境：
client：2.2.2.2  互联网用户
squid-server：2.2.2.1和10.1.1.1   2个IP，一个公网一个私网
web-server：10.1.1.3     公司内网web服务器

还原acl控制

搭建反向代理服务器squid步骤：
1.清空之前的环境
iptables -t nat -F
2.修改squid.conf配置文件来配置反向代理
vim /etc/squid/squid.conf
...
http_port 80 vhost
cache_peer 10.1.1.3 parent 80 0 originserver

解释说明：
less /usr/share/doc/squid-3.1.10/squid.conf.documented
...
cache_peer hostname type http-port icp-port [options]

cache_peer：做反向代理的关键字
hostname：代表后台真正的web服务器
type：代表代理服务器的类型，有PARENT和SIBLING两种：parent代表父亲，sibling代表兄弟伙伴
http-port：后台web服务的端口
icp-port：代表代理服务器之间通讯的端口（用于查询兄弟缓存的端口）
[options]：代表可选项
originserver：代表原始服务器（真正的web服务器）
weight：代表权重
max-coon：代表
...

3.测试验证
在client端：2.2.2.2上直接访问代理服务器：
http://2.2.2.1      （访问代理服务器）