集群及LVS

其他 2019-02-22 11:21:03 阅读次数: 0
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/jsut_rick/article/details/86597915

集群及LVS

集群：一组通过高速网络互联的计算组，并以单一系统的模式加以管理

  将很多服务器集中起来一起，提供同一种服务，在客户端看来就象是只有一个服务器

  可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益

  任务调度是集群系统中的核心技术

 

集群的目的：

  • 提高性能：如计算密集型应用，如：天气预报、核试验模拟
  • 降低成本：相对百万美元级的超级计算机，价格便宜
  • 提高可扩展性：只要增加集群节点即可
  • 增强可靠性：多个节点完成相同功能，避免单点失败

 

集群分类：

  • 高性能计算（HPC）集群：通过以集群开发的并行应用程序，解决复杂的科学问题
  • 负载均衡（LB）集群：客户端负载在计算机集群中尽可能平均分摊
  • 高可用（HA）集群：避免单点故障，当一个系统发生故障时，可以快速迁移

 

LVS概述

LVS项目介绍

  • Linux虚拟服务器（LVS）是章文嵩在国防科技大学就读博士期间创建的
  • LVS可以实现高可用的、可伸缩的Web、Mail、Cache和Media等网络服务
  • 最终目标是利用Linux操作系统和LVS集群软件实现一个高可用、高性能、低成本的服务器应用集群

 

LVS集群组成:

前端：负载均衡层——由一台或多台负载调度器构成

中间：服务器群组层——由一组实际运行应用服务的服务器组成

底端：数据共享存储层——提供共享存储空间的存储区域

 

LVS术语：

Director Server：调度服务器——将负载分发到Real Server的服务器

Real SErver：真实服务器——真正提供应用服务的服务器

VIP：虚拟IP地址——公布给用户访问的虚拟IP地址

RIP：真实IP地址——集群节点上使用的IP地址

DIP：调度器连接节点服务器的IP地址

 

LVS工作模式：

VS/NAT：通过网络地址转换实现的虚拟服务器

 大并发访问时，调度器的性能成为瓶颈

VS/DR：直接使用路由技术实现虚拟服务器

     节点服务器需要配置VIP，注意MAC地址广播(生产环境中最常用)

VS/TUN：通过隧道方式实现虚拟服务器

 

负载均衡调度算法：LVS目前实现了10种调度算法

常用调度算法有4种：轮询、加权轮询、最少连接、加权最少连接

轮询（Round Robin）：将客户端请求平均分发到Real Server

加权轮询（Weighted Round Robin）：根据Real Server权重进行轮询调度

最少连接（Least Connections）：选择连接最少的服务器

加权最少连接（Weighted Least Connections）：根据Real Server权重值，选择连接最少的服务器

源地址散列（Source Hashing）：根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器——hash运算分发

其他调度算法：基于局部性的最少链接、带复制的基于局部性最少链接、目标地址散列（Destination Hashing）、最短的期望的延迟、最少队列调度

 

LVS－NAT集群

LVS负载均衡技术是通过IPVS模块实现的

IPVS模块已成为Linux组成部分

[root@lvs33 ~]# grep -i "ipvs" /boot/config-2.6.32-573.el6.x86_64

# IPVS transport protocol load balancing support

# IPVS scheduler

# IPVS application helper

操作流程

Real Server：配置web服务器

Director Server：在上安装并启用ipvsadm；创建虚拟服务器；向虚拟服务器中加入节点

Client：连接虚拟服务器测试

部署lvs/nat的LB集群：

一、环境准备：

  1.  做分发器的主机开启内核路由转发功能

 

[root@lvs33 ~]# vim /etc/sysctl.conf    //打开ip_forward

[root@lvs33 ~]# sed -n "7p" /etc/sysctl.conf

net.ipv4.ip_forward = 1

[root@lvs33 ~]# sysctl -a | grep ip_forward

[root@lvs33 ~]# sysctl -p

 

2. 有2台主机做网站服务器

[root@web44 ~]# yum -y install httpd

[root@web44 ~]# service httpd start

[root@web44 ~]# echo "CCCCCCCCCCC" > /var/www/html/test.html

[root@web44 ~]# chkconfig httpd on

[root@web44 ~]# ping -c 2 192.168.4.33

 

[root@web55 ~]# yum -y install httpd

[root@web55 ~]# service httpd start

[root@web55 ~]# echo "DDDDDDDDDD" > /var/www/html/test.html

[root@web55 ~]# chkconfig httpd on

[root@web55 ~]# ping -c 2 192.168.4.33

 

3. 1台机器做客户端

[root@client22 ~]#

  1. 客户端主机和网站服务器都要指定网关地址（分发器主机和自己直连的IP地址）

[root@web44 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

GATEWAY=192.168.4.33

[root@web44 ~]# service network restart

[root@web44 ~]# route -n

 

[root@web55 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

GATEWAY=192.168.4.33

[root@web55 ~]# service network restart

[root@web55 ~]# route -n

 

[root@client22 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1

GATEWAY=192.168.2.33

[root@client22 ~]# service network restart

[root@client22 ~]# route -n

[root@client22 ~]# ping -c 2 192.168.4.33

[root@client22 ~]# ping -c 2 192.168.4.44

[root@client22 ~]# ping -c 2 192.168.4.55

 

  • 配置做分发器的主机

1. 安装提供linux虚拟服务的软件包

[root@lvs33 ~]# rpm -q ipvsadm || rpm -ivh /mnt/LoadBalancer/ipvsadm-1.26-4.el6.x86_64.rpm

[root@lvs33 ~]# ipvsadm -v

[root@lvs33 ~]# which ipvsadm

[root@lvs33 ~]# ipvsadm --help

[root@lvs33 ~]# man ipvsadm         //查看ipvsadm用法

ipvsadm用法：

创建虚拟服务器：-A 添加虚拟服务器

-t 设置群集地址（VIP，Virtual IP）

-s 指定负载调度算法

添加、删除服务器节点：-a 添加真实服务器

  -d 删除真实服务器

  -r 指定真实服务器（Real Server）的地址

  -m 使用NAT模式

  -g 使用DR模式

  -i 使用TUN模式

  -w 为节点服务器设置权重，默认为1

表 ipvsadm语法格式

  1. 添加LVS虚拟集群服务

[root@lvs33 ~]# ipvsadm -A -t 192.168.2.33:80 -s rr -p 30

  1. 向虚拟集群服务里添加real server

[root@lvs33 ~]# ipvsadm -a -t 192.168.2.33:80 -r 192.168.4.44:80 -m

[root@lvs33 ~]# ipvsadm -a -t 192.168.2.33:80 -r 192.168.4.55:80 -m

  1. 保存配置

[root@lvs33 ~]# service ipvsadm save         //保存所有规则

也可用ipvsadm-save >/etc/sysconfig/ipvsadm

[root@lvs33 ~]# cat /etc/sysconfig/ipvsadm

-A -t 192.168.2.33:80 -s rr

-a -t 192.168.2.33:80 -r 192.168.4.44:80 -m -w 1

-a -t 192.168.2.33:80 -r 192.168.4.55:80 -m -w 1

[root@lvs33 ~]# chkconfig --list ipvsadm

[root@lvs33 ~]# chkconfig ipvsadm on

5. 查看配置

[root@lvs33 ~]# ipvsadm -Ln                //查看LVS状态,这两个选项不能写反

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.2.33:80 rr

  -> 192.168.4.44:80              Masq    1      0          0         

  -> 192.168.4.55:80              Masq    1      0          0  

 

修改集群服务器设置

[root@lvs33 ~]# ipvsadm -E -t 192.168.2.33:80  -s lc   //修改Director调度算法

[root@lvs33 ~]# ipvsadm -E -t 192.168.2.33:80  -s wrr   //wrr加权轮询

 

[root@lvs33 ~]# ipvsadm -d -t 192.168.2.33:80 -r 192.168.4.44:80   //删除

[root@lvs33 ~]# ipvsadm -Ln

[root@lvs33 ~]# ipvsadm -a -t 192.168.2.33:80 -r 192.168.4.44:80 -m  //添加

[root@lvs33 ~]# ipvsadm -Ln

[root@lvs33 ~]# service ipvsadm save

 

[root@lvs33 ~]# ipvsadm -C      //清空所有规则

[root@lvs33 ~]# ipvsadm -e -t 192.168.2.33:80 -r 192.168.4.55:80 -w 2 -m

 

[root@lvs33 ~]# ipvsadm -Ln --stats

  • 客户端验证

[root@client22 ~]# yum -y install elinks

[root@client22 ~]# elinks --dump http://192.168.2.33/test.html

[root@client22 ~]# ab -c 10 -n 1000 http://192.168.2.33/test.html     //使用ab进行大并发测试

 

部署LVS/DR的LB集群：

广播包在相同网络内的主机都能够收到

操作流程

Real Server：配置web服务器；配置辅助IP地址、调整内核参数

Director Server：在上安装并启用ipvsadm；创建虚拟服务器；向虚拟服务器中加入节点

Client：连接虚拟服务器测试

ARP广播的问题：

当客户端发起访问VIP对应的域名的请求时，根据网络通信原理会产生ARP广播；

因为负载均衡器和真实的服务器在同一网络并且VIP设置在集群中的每个节点上；

此时集群内的真实服务器会尝试回答来自客户端的ARP广播，这就会产生问题，大家都说我是“VIP”

内核参数说明：

arp_ignore(定义回复ARP广播的方式)：

0（默认值）：回应所有的本地地址ARP广播，本地地址可以配置在任意网络接口

1：只回应配置在入站网卡接口上的任意IP地址ARP广播

arp_announce：

0（默认值）：使用配置在任意网卡接口上的本地IP地址

2：对查询目标使用最适当的本地地址。在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址。首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址。如果没有合适的地址被发现，将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送

 

使用ARP防火墙禁止对VIP的ARP请求

[root@client22 ~]# yum -y install arptables_if  //装包未成功，另找时间尝试

[root@client22 ~]# arptables -A IN -d <virtual_ip> -j DROP

[root@client22 ~]# arptables -A OUT -s <virtual_ip> -j mangle --mangle-ip-s <real_ip>

 

环境准备:

  1. 先把NAT环境下的LVS连接外网的IP移除

[root@lvs33 ~]# ifdown eth1

[root@web44 ~]# route del default gw 192.168.4.33

[root@web55 ~]# route del default gw 192.168.4.33

2、清空lvs nat配置

[root@lvs33 ~]# ipvsadm -C

[root@lvs33 ~]# service ipvsadm save

[root@lvs33 ~]# ipvsadm -Ln

[root@lvs33 ~]# cat /etc/sysconfig/ipvsadm

3、

[root@client22 ~]# ping -c 2 192.168.4.96   //验证未被使用

 

  • 配置real server
  1. 绑定vip地址

[root@web44 ~]# echo "ifconfig lo:1" >> /etc/rc.local

[root@web44 ~]# echo "ifconfig  lo:1 192.168.4.96/32" >> /etc/rc.local

[root@web55 ~]#  echo "ifconfig  lo:1" >> /etc/rc.local

[root@web55 ~]#  echo "ifconfig  lo:1 192.168.4.96/32" >> /etc/rc.local

 

  1. 在两台网站服务器上，修改网卡参数，帮助兄弟接口收发IP包——在real server上配置内核参数

echo 1 >> /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 >> /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 >> /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 >> /proc/sys/net/ipv4/conf/all/arp_announce

sysctl -p

  • 配置分发器
  1. 绑定vip地址

[root@lvs33 ~]# echo "ifconfig  eth0:1" >> /etc/rc.local

[root@lvs33 ~]#  echo "ifconfig  eth0:1 192.168.4.96/32" >> /etc/rc.local

  1. 添加Linux虚拟服务，并添加real server

[root@lvs33 ~]# ipvsadm -A -t 192.168.4.96:80 -s rr

[root@lvs33 ~]# ipvsadm -a -t 192.168.4.96:80 -r 192.168.4.44:80 -g 

[root@lvs33 ~]#ipvsadm -a -t 192.168.4.96:80 -r 192.168.4.55:80  //这里-g可省略

  1. 保存配置

[root@lvs33 ~]# ipvsadm -Ln

[root@lvs33 ~]# service ipvsadm save

  1. 查看配置信息

[root@lvs33 ~]# ipvsadm -Ln

[root@lvs33 ~]# cat /etc/sysconfig/ipvsadm

[root@lvs33 ~]# ipvsadm -Ln --stats

  • 在客户端验证配置

[root@client22 ~]# yum -y install elinks

[root@client22 ~]# elinks --dump http://192.168.4.96/test.html

[root@lvs33 ~]# ipvsadm -Ln --stats

 

 

 

总结：

LVS/NAT地址转换模式

 

LVS/DR直接路由模式

分发器接收到连接请求后， 根据调度算法，分发连接请求给指定的real server，real server直接和客户端通信。

Vip地址要与real server在一个网段内

 

 

1、清理lvs配置

[root@lvs33 ~]# ipvsadm -D -t 192.168.4.33:80

[root@lvs33 ~]# systemctl stop ipvsadm.service

不管是LVS的VIP，还是内核参数的调整，在HAProxy中都不是必须的，但是也不会对HAProxy产生任何影响，所以不必清除

 

 

 

LAMP分离结构

1、准备三台虚拟机

vh01.tedu.cn 192.168.4.1

vh02.tedu.cn 192.168.4.2

vh03.tedu.cn 192.168.4.3

2、初始化配置

防火墙、selinux、IP地址、主机名、YUM

3、在vh01上配置数据库

[root@vh01 ~]# yum install -y mariadb-server

[root@vh01 ~]# systemctl start mariadb

[root@vh01 ~]# systemctl enable mariadb.service

[root@vh01 ~]# mysql -uroot

MariaDB [(none)]> grant all on *.* to 'admin'@'192.168.4.2' identified by 'tedu.cn';

MariaDB [(none)]> grant all on *.* to 'admin'@'192.168.4.3' identified by 'tedu.cn';

4、在两台web服务器上安装软件包并启动服务

[root@vh02 ~]# yum install -y httpd php php-mysql

[root@vh02 ~]# systemctl start httpd

[root@vh02 ~]# systemctl enable httpd.service

5、在vh02上安装Discuz

[root@vh02 ~]# unzip Discuz_X3.0_SC_UTF8.zip

[root@vh02 ~]# cp -r upload/ /var/www/html/bbs

[root@vh02 bbs]# firefox http://192.168.4.2/bbs &

改权限

将web页面中权限不满足要求的数据复制到/var/www/html/a.txt中

[root@vh02 bbs]# pwd

/var/www/html/bbs

[root@vh02 bbs]# chmod 777 $(awk '{print $1}' /var/www/html/a.txt)

6、将vh02上的bbs目录打包拷贝到vh03，解压缩

 

 

LVS nat模式

1、修改web服务器网关

# nmtui

# ifdown eth0; ifup eth0

2、配置调度器有双网卡地址

eth2: 201.1.1.4/24  

3、打开路由转发功能

[root@vh04 ~]# sysctl -a | grep ip_forward   查看

[root@vh04 ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf

[root@vh04 ~]# sysctl -p

4、安装

[root@vh04 ~]# yum install -y ipvsadm

5、配置

[root@vh04 ~]# ipvsadm -A -t 201.1.1.4:80 -s rr

[root@vh04 ~]# ipvsadm -a -t 201.1.1.4:80 -r 192.168.4.2 -m -w 2

[root@vh04 ~]# ipvsadm -a -t 201.1.1.4:80 -r 192.168.4.3 -m

6、验证

[root@vh04 ~]# ipvsadm -Ln

[root@room9pc16 ~]# firefox http://201.1.1.4/bbs &

每隔1秒运行一次ipvsadm -Ln

[root@vh04 bin]# watch -n 1 ipvsadm -Ln

7、保存规则

[root@vh04 bin]# /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm

8、重启服务

[root@vh04 bin]# systemctl restart ipvsadm.service

9、修改调度算法为lc

[root@vh04 bin]# ipvsadm -E -t 201.1.1.4:80 -s lc

10、每次发送10个请求，一共发送100个

[root@room9pc16 ~]# ab -n 100 -c 10 http://201.1.1.4/

 

LVS DR模式

1、清理vh04的配置，清除201.1.1.4ip地址，清除LVS规则

如果后台脚本还在运行，先杀掉后台进程

[root@vh04 bin]# jobs

[1]+  运行中               bash monitor_web.sh &

[root@vh04 bin]# kill %1

清除IP地址

[root@vh04 bin]# vim /etc/sysconfig/network-scripts/ifcfg-eth2

[root@vh04 bin]# ifdown eth2

清除规则

[root@vh04 bin]# ipvsadm -D -t 201.1.1.4:80

[root@vh04 bin]# systemctl restart ipvsadm.service

2、在调度器上配置vip

[root@vh04 bin]# cp /etc/sysconfig/network-scripts/ifcfg-eth0{,:0}

[root@vh04 bin]# vim /etc/sysconfig/network-scripts/ifcfg-eth0:0

修改以下三行

NAME=eth0:0

DEVICE=eth0:0

IPADDR=192.168.4.100

[root@vh04 bin]# ifup eth0:0

3、在web服务器上配置vip

[root@vh02 ~]# cp /etc/sysconfig/network-scripts/ifcfg-lo{,:0}

[root@vh02 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0

DEVICE=lo:0

IPADDR=192.168.4.100

NETMASK=255.255.255.255

NETWORK=192.168.4.100

BROADCAST=192.168.4.100

ONBOOT=yes

NAME=loopback

[root@vh02 ~]# ifup lo:0

[root@vh02 ~]# scp /etc/sysconfig/network-scripts/ifcfg-lo:0 192.168.4.3:/etc/sysconfig/network-scripts/

[root@vh03 html]# ifup lo:0

4、在两台web服务器上修改内核参数

[root@vh02 ~]# sysctl -a | grep arp_ig

[root@vh02 ~]# echo 'net.ipv4.conf.all.arp_ignore = 1' >> /etc/sysctl.conf

[root@vh02 ~]# echo 'net.ipv4.conf.lo.arp_ignore = 1' >> /etc/sysctl.conf

[root@vh02 ~]# sysctl -a | grep arp_an

[root@vh02 ~]# echo "net.ipv4.conf.all.arp_announce = 2" >> /etc/sysctl.conf

[root@vh02 ~]# echo "net.ipv4.conf.lo.arp_announce = 2" >> /etc/sysctl.conf

[root@vh02 ~]# sysctl -p

5、配置LVS规则，不写或者使用-g选项，都表示DR模式

[root@vh04 bin]# ipvsadm -A -t 192.168.4.100:80 -s lc

[root@vh04 bin]# ipvsadm -a -t 192.168.4.100:80 -r 192.168.4.2

[root@vh04 bin]# ipvsadm -a -t 192.168.4.100:80 -r 192.168.4.3 -g

[root@vh04 bin]# ipvsadm -Ln

猜你喜欢

转载自blog.csdn.net/jsut_rick/article/details/86597915
今日推荐
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
Java自定义时间格式
同步整形电路
在开发中最最最常用的字符串的属性大集合
Linux 查看端口占用并杀掉
Java基础四：ArrayList
多线程之死锁就是这么简单
mysql 基础命令集
awk 命令详解
Centos6.3编译安装nginx+php步骤
OCR （Optical Character Recognition，光学字符识别）
每日归档
更多
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022