squid传统代理、透明代理服务配置、ACL访问控制、日志分析、反向代理

企业开发 2021-03-02 10:12:27 阅读次数: 0

Squid

一、Squid 代理服务器

Squid主要提供缓存加速、应用层过滤控制的功能。

代理的工作机制：

  • 代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址。
  • 将获得的网页数据(静态Web元素)保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应。

Squid 代理的类型：

  • 传统代理：适用于Internet，需在客户机指定代理服务器的地址和端口。
  • 透明代理：客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。
  • 反向代理：如果Squid反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将后台的WEB服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

二、安装 Squid 服务

①关闭防火墙即安全机制

systemctl stop firewalld 
systemctl disable firewalld 
setenforce 0

②编译安装 squid

yum -y install gcc gcc-c++ make

cd /opt        #拉入软件包
tar zxvf squid-3.5.28.tar.gz

cd /opt/squid-3.5.28

./configure --prefix=/usr/local/squid \
--sysconfdir=/etc \
--enable-arp-acl \
--enable-linux-netfilter \
--enable-linux-tproxy \
--enable-async-io=100 \
--enable-err-language="Simplify_Chinese" \
--enable-underscore \
--disable-poll \
--enable-epoll \
--enable-gnurege

make && make install      #编译安装
./configure --prefix=/usr/local/squid \ #指定安装目录路径
–sysconfdir=/etc \ #指定配置文件路径
–enable-arp-acl \ #MAC地址管控,防止客户端使用IP欺骗
–enable-linux-netfilter \ #使用内核过滤
–enable-linux-tproxy \ #支持透明模式
–enable-async-io=100 \ #异步IO，提升存储性能
–enable-err-language=“Simplify_Chinese”\ #错误信息的显示语言
–enable-underscore \ #允许URL中有下划线
–disable-poll \ #关闭默认使用poll模式
–enable-epoll \ #开启epoll模式提升性能
–enable-gnuregex #使用GNU正则表达式

③创建软连接、系统用户，指定属主属组

ln -s /usr/local/squid/sbin/* /usr/local/sbin/  

useradd -M -s /sbin/nologin squid 

chown -R squid:squid /usr/local/squid/var/     #此目录用于存放缓存文件

③修改squid 的配置文件

vim /etc/squid.conf
......
--56行--插入
http_access allow all           #放在 http_access deny all 之前，允许任意客户机使用代理服务，控制规则自上而下匹配
http_access deny all
http_port 3128                  #用来指定代理服务监听的地址和端口(默认的端口号为3128)
--61行--插入
cache_effective_user squid      #添加，指定程序用户，用来设置初始化、运行时缓存的账号,否则启动不成功
cache_effective_group squid     #添加，指定账号基本组

coredump_dir /usr/local/squid/var/cache/squid      #指定缓存文件目录

在这里插入图片描述
④Squid的运行控制，检查配置文件语法是否正确

squid -k parse          #启动squid，第一次启动squid服务时，会自动初始化缓存目录

squid -z                #-z选项用来初始化缓存目录

squid                   #启动squid服务

netstat -anpt | grep "squid"

在这里插入图片描述
在这里插入图片描述

⑤创建squid服务脚本

vim /etc/init.d/ squid
#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
   start)
     netstat -natp | grep squid &> /dev/null
     if [ $? -eq 0 ]
     then
       echo "squid is running"
       else
       echo "正在启动 squid..."
       $CMD
     fi
   ;;
   stop)
     $CMD -k kill &> /dev/null
     rm -rf $PID &> /dev/null
   ;;
   status)
     [ -f $PID ] &> /dev/null
        if [ $? -eq 0 ]
          then
            netstat -natp | grep squid
          else
            echo "squid is not running"
        fi
   ;;
   restart)
      $0 stop &> /dev/null
      echo "正在关闭 squid..."
         $0 start &> /dev/null
      echo "正在启动 squid..."
   ;;
   reload)
      $CMD -k reconfigure
   ;;
   check)
      $CMD -k parse
   ;;
   *)
      echo "用法：$0{start|stop|status|reload|check|restart}"
   ;;
esac

2345是默认自启动级别，如是-代表任何级别都不自启动; 90是 启动优先级，25是停止优先级，优先级范围是0一100，数字越大，优先级越低、

chmod +x /etc/init.d/squid
chkconfig --add squid
chkconfig --level 35 squid on

在这里插入图片描述

三、构建传统代理服务器

主机 操作系统 IP地址 安装包、服务
Squid-Server CentOS7 192.168.153.10 squid-3.5.28.tar.gz
Web1 CentOS7 192.168.153.20 httpd
客户机 Windows 192.168.153.128 -

Squid服务器配置

①修改配置文件

vim /etc/squid.conf
......
http_access allow all
http_access deny all
http_port 3128
cache_effective_user squid
cache_effective_group squid

--63行插入--
cache_mem 64 MB
reply_body_max_size 10 MB
maximum_object_size 4096 KB

在这里插入图片描述

cache_mem 64 MB
#指定缓存功能所使用的内存空间大小，便于保持访问较频繁的WEB对象，容量最好为4的倍数，单位为MB，建议设为物理内存的1/4
reply_body_max_size 10 MB
#允许用户下载的最大文件大小，以字节为单位，当下载超过指定大小的Web对象时，浏览器的报错页面中会出现“请求或访问太大”的提示默认设置0表示不进行限制
maximum_object_size 4096 KB
#允许保存到缓存空间的最大对象大小，以KB为单位，超过大小限制的文件将不被缓存，而是直接转发给用户

②重启服务

service squid restart
netstat -natp | grep squid

在这里插入图片描述
③生产环境中还需要修改防火墙规则

iptables -F
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
iptables -L INPUT

在这里插入图片描述

web1 配置

systemctl stop firewalld.service
setenforce 0
yum -y install httpd
systemctl start httpd
netstat -natp | grep 80

在这里插入图片描述

客户机浏览器访问测试

客户机的代理配置
打开浏览器 > 设置 > 高级设置 > 代理 > 代理设置
在这里插入图片描述

http://192.168.153.20

在这里插入图片描述

⑥查看Web1访问日志的新增记录

tail -f /var/log/httpd/access_log

在这里插入图片描述

四、构建透明代理服务器

主机 操作系统 IP地址 安装包、服务
Squid-Server CentOS7 ens33：192.168.184.10 、 ens37：12.0.0.1 squid-3.5.28.tar.gz
Web1 CentOS7 12.0.0.12 httpd
客户端 Windows 192.168.153.128 -

Squid服务器配置

关机添加一块新网卡，开机，ifconfig查看新增网卡名称，编辑网卡配置文件
在这里插入图片描述

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens36
vim ifcfg-ens33
vim ifcfg-ens36
systemctl restart network
ifconfig

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

60行修改

vim /etc/squid.conf
......
http_access allow all
http_access deny all

http_port 192.168.153.10:3128 transparent

systemctl restart squid

在这里插入图片描述

开启路由转发，实现本机中不同网段的地址转发

echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
sysctl -p

在这里插入图片描述

修改防火墙规则

iptables -F
iptables -t nat -F
iptables -t nat -I PREROUTING -i ens33 -s 192.168.153.0/24 -p tcp --dport 80 -j REDIRECT --to 3128	
iptables -t nat -I PREROUTING -i ens33 -s 192.168.153.0/24 -p tcp --dport 443 -j REDIRECT --to 3128	
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

在这里插入图片描述

Web1 配置

systemctl stop firewalld.service
setenforce 0
vim /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network
ifconfig

：

在这里插入图片描述

yum -y install httpd
systemctl restart httpd.service

客户机浏览器访问测试

关闭客户机的浏览器之前设置的代理服务器的功能后访问http://12.0.0.12

在这里插入图片描述
在这里插入图片描述

查看Squid访问日志的新增记录

tail -f /usr/local/squid/var/logs/access.log

在这里插入图片描述
查看Web访问日志的新增记录，显示的是由代理服务器的外网口代替客户机在访问

tail -f /var/log/httpd/access_log

在这里插入图片描述

五、ACL访问控制

在配置文件 squid.conf 中，ACL 访问控制通过以下两个步骤来实现

  • 使用 acl 配置项定义需要控制的条件；
  • 通过 http_access 配置项对已定义的列表做“允许”或“拒绝”访问的控制。

定义访问控制列表
格式：acl 列表名称 列表类型 列表内容 …

vim /etc/squid.conf
......
acl localhost src 192.168.153.10/32 			 #源地址为 192.168.153.10
acl MYLAN src 192.168.153.0/24 			         #客户机网段
acl destionhost dst 192.168.153.20/32			 #目标地址为 192.168.153.20
acl MC20 maxconn 20								 #最大并发连接 20
acl PORT port 21							     #目标端口 21
acl DMBLOCK dstdomain .qq.com					 #目标域，匹配域内所有站点
acl BURL url_regex -i ^rtsp:// ^emule://		 #以 rtsp://、emule:// 开头的 URL，-i表示忽略大小写
acl PURL urlpath_regex -i \.mp3$ \.mp4$ \.rmvb$	 #以 .mp3、.mp4、.rmvb 结尾的 URL 路径
acl WORKTIME time MTWHF 08:30-17:30				 #时间为周一至周五 8:30~17:30，“MTWHF”为每个星期的英文首字母

Squid服务器配置(192.168.153.10)

iptables -F
iptables -t nat -F

mkdir /etc/squid
vim /etc/squid/dest.list
192.168.153.20

vim /etc/squid.conf
......
acl destionhost dst "/dest.list"			#调用指定文件中的列表内容
......
http_access deny destionhost				#注意，如果是拒绝列表，需要放在http_access allow all前面

http_port 3128

systemctl restart squid

在这里插入图片描述

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

Web1 (192.168.153.20)、Web2 (192.168.153.30)

systemctl stop firewalld.service 
setenforce 0
yum -y install httpd
systemctl start httpd

客户机浏览器访问测试

客户机浏览器打开代理功能，代理服务器192.168.153.10，端口3128
在这里插入图片描述
浏览器(192.168.153.128)访问Web服务器 http://192.168.153.20 ，显示被访问被拒绝,访问http://192.168.153.30则可以访问。
在这里插入图片描述
在这里插入图片描述

六、Squid 日志分析

安装图像处理软件包，需要使用在线源，出现报错，将网卡配置文件中的dns和网关修改回原样即可

yum install -y pcre-devel gd gd-devel

mkdir /usr/local/sarg
tar zxvf sarg-2.3.7.tar.gz -C /opt/

cd /opt/sarg-2.3.7

./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection
make && make install

vim /etc/sarg/sarg.conf

access_log /usr/local/squid/var/logs/access.log		#7行，取消注释，指定访问日志文件
title "Squid User Access Reports"					#25行，取消注释，网页标题
output_dir /var/www/html/squid-reports				#120行，取消注释，报告输出目录
user_ip no											#178行，取消注释，使用用户名显示
topuser_sort_field connect reverse					#184行取消注释，修改，top排序中，指定连接次数采用降序排列，升序是normal
user_sort_field connect reverse						#190行，取消注释，修改对于用户访问记录，连接次数按降序排序
exclude_hosts /usr/local/sarg/noreport				#206行，取消注释，修改指定不计入排序的站点列表的文件
overwrite_report no									#257行，取消注释，同名同日期的日志是否覆盖
mail_utility mailq.postfix							#289行，取消注释，修改发送邮件报告命令
charset UTF-8										#434行，取消注释，修改指定字符集UTF-8
weekdays 0-6										#518行，取消注释，top排行的星期周期
hours 0-23											#525行，取消注释，top排行的时间周期
www_document_root /var/www/html						#633行，取消注释，指定网页根目录

添加不计入站点文件，添加的域名将不被显示在排序中

touch /usr/local/sarg/noreport

ln -s /usr/local/sarg/bin/sarg /usr/local/bin/

运行

sarg				#启动一次记录

在这里插入图片描述
在这里插入图片描述

yum install httpd -y
systemctl start httpd

客户端浏览器访问验证

浏览器访问 http://192.168.153.10/squid-reports ，查看sarg报告网页
在这里插入图片描述
添加计划任务，每天生成报告

vim /usr/local/sarg/report.sh

#/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date -d "1 day ago" +%d/%m/%Y)
/usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports -z -d $YESTERDAY-$TODAY &> /dev/null
exit 0

chmod +x /usr/local/sarg/report.sh

crontab -e
0 0 * * * /usr/local/sarg/report.sh

七、Squid 反向代理

如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 Web 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

工作机制：

  • 缓存网页对象，减少重复请求
  • 将互联网请求轮训或按权重分配到内网Web服务器
  • 代理用户请求，避免用户直接访问Web服务器，提高安全

代理服务器配置

iptables -F				#清空防火墙规则
iptables -t nat -F

vim /etc/squid.conf
......

60行修改，插入

http_port 192.168.153.10:80 accel vhost vport
cache_peer 192.168.153.20 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 192.168.153.30 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.wt.com

在这里插入图片描述

http_port 80 accel vhost vport #squid从一个缓存变成了一个Web服务器使用加速模式，这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。

parent 代表为父节点
80 HTTP_PORT
0 ICP_PORT
no-query 不做查询操作，直接获取数据
originserver 指定是源服务器
round-robin 指定 squid 通过轮询方式将请求分发到其中一台父节点
max_conn 指定最大连接数
weight 指定权重
name 设置别名

web1(192.168.153.20)

systemctl stop firewalld.service 
setenforce 0
yum install -y httpd
systemctl start httpd
echo "this is test01" >> /var/www/html/index.html

在这里插入图片描述

web(192.168.153.30)

systemctl stop firewalld.service 
setenforce 0
yum install -y httpd
systemctl start httpd
echo "this is test02" >> /var/www/html/index.html

在这里插入图片描述

客户机（192.168.153.128）的域名映射

修改 C:\Windows\System32\drivers\etc\hosts 文件
192.168.153.10 www.wt.com

在这里插入图片描述
打开客户机的代理服务器
w'w
浏览器访问 http://www.wt.com
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_51613313/article/details/114112991
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
记一下去大梅沙的准备（2018-05-26）
Spring 注解 事务
基于HTTP协议的客户端缓存
阿里云rds 备份和还原
[PHP] 几个拖慢 PHP 程序/API 运行速度的点
python 代码风格------------PEP8规则
js控制json生成菜单——自制菜单（一）
将字符串: 'k:1|k1:2|k2:3|k3:4 ' ,处理成 python 字典: {'k':1, 'k1':2, ...}
微信小程序转支付宝小程序
Qt551.窗口滚动条
每日归档
更多
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022