【Kubernetes部署】Kurbernetes集群高可用架构（二进制部署多Master节点）

企业开发 2023-12-18 06:09:34 阅读次数: 0

高可用

一、基本架构

1.1 为什么要有多个Master节点？

1.1.1 Master节点单点故障问题

单机master中，仅仅只有一台master作为节点服务器的调度指挥。
一旦宕机，就意味着整个集群的瘫痪，所以成熟的k8s的集群一定要考虑到master的高可用。

企业的运用一般至少存在两台master及其以上的部署，本次将根据前面的部署，再添加一台master（三个master或者更多，也可以根据本次添加步骤重复添加）。

添加master后，我们会将借助keepalived+nginx的架构，来实现高可用的master【也可以使用haproxy+keepalived或则是keepalived+lvs（不推荐，步骤过于复杂）】

1.1.2 选举算法的要求

Kurbernetes的一致性算法RAFT，要求集群需要数量大于(n/2)的正常主节点才能提供服务（n为主节点数）。

一般是三个Master节点，三个主节点有1个节点的容错率，而四个主节点也只有1个节点的容错率，在不影响容错率的情况下，防止资源的浪费。

1.2 基本架构

在这里插入图片描述

Server IP Compoments
Master01+Etcd01 192.168.2.100 kube-apiserver
kube-controller-manager
kube-schedular
etcd
Master02 192.168.2.106 kube-apiserver
kube-controller-manager
kube-schedular
Node01+Etcd02 192.168.2.102 kubelet
kube-proxy
docker
flannel
Node02+Etcd03 192.168.2.103 kubelet
kube-proxy
docker
flannel
Nginx01节点 192.168.2.104 nginx
keepalived
Nginx02节点 192.168.2.105 nginx
keepalived**

二、新Master节点的部署

基于单Master节点继续部署，部署过程详见我的上一篇博客。

2.1 系统初始化操作

Step1 关闭防火墙、selinux和swap分区

#关闭防火墙
systemctl disable firewalld --now
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
 
#关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config
 
#关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

Step2 修改主机名，添加域名映射

#根据规划设置主机名
hostnamectl set-hostname master02
su

#在master添加hosts(添加到整个k8s集群的主机上，保证其他主机均有该映射)
cat >> /etc/hosts << EOF
192.168.2.100 master01
192.168.2.106 master02
192.168.2.102 node01
192.168.2.103 node02
EOF

在这里插入图片描述

Step3 修改内核参数

#调整内核参数
cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF
 
sysctl --system

Step4 时间同步

 #时间同步
yum install ntpdate -y
ntpdate ntp.aliyun.com
 
#将时间同步的操作添加到计划性任务，确保所有节点保证时间的同步
crontab -e
*/30 * * * * /usr/sbin/ntpdate  ntp.aliyun.com
crontab -l

在这里插入图片描述

2.2 从master01节点拷贝相关文件

拷贝证书文件、各master组件的配置文件和服务管理文件

#拷贝证书文件
scp -r /opt/etcd/ [email protected]:/opt/

在这里插入图片描述

#拷贝master组件的配置文件
scp -r /opt/kubernetes/ [email protected]:/opt

在这里插入图片描述

#拷贝服务管理文件
scp /usr/lib/systemd/system/{
    
    kube-apiserver,kube-controller-manager,kube-scheduler}.service [email protected]:/usr/lib/systemd/system/

在这里插入图片描述

2.3 修改配置文件kube-apiserver中的IP

vim /opt/kubernetes/cfg/kube-apiserver

KUBE_APISERVER_OPTS="--logtostderr=true \
--v=4 \
--etcd-servers=https://192.168.2.100:2379,https://192.168.2.102:2379,https://192.168.2.103:2379 \
--bind-address=192.168.2.106 \				#修改
--secure-port=6443 \
--advertise-address=192.168.2.106 \			#修改
......

在这里插入图片描述

2.4 在 master02 节点上启动各服务并设置开机自启

#启动apiserver
systemctl enable kube-apiserver.service --now

在这里插入图片描述

#启动controller-manager
systemctl enable kube-controller-manager.service --now

在这里插入图片描述

#启动scheduler
systemctl enable kube-scheduler.service --now

在这里插入图片描述

2.5 apiserver的相关配置

2.5.1 编写配置生成脚本

vim /opt/admin.sh

#!/bin/bash
mkdir /root/.kube
KUBE_CONFIG="/root/.kube/config"
KUBE_APISERVER="https://192.168.2.106:6443"

#切换到k8s证书目录操作
cd /opt/k8s/k8s-cert/

#配置kubernetes集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=${KUBE_CONFIG}
#配置客户端认证参数
kubectl config set-credentials admin \
  --client-certificate=./admin.pem \
  --client-key=./admin-key.pem \
  --embed-certs=true \
  --kubeconfig=${KUBE_CONFIG}
#设置设置一个环境项，配置上下文参数
kubectl config set-context default \
  --cluster=kubernetes \
  --user=admin \
  --kubeconfig=${KUBE_CONFIG}
#设置默认环境上下文
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}
#生成的 kubeconfig 被保存到 /root/.kube/config 文件

#########################################################
#集群参数
#本段设置了所需要访问的集群的信息。使用set-cluster设置了需要访问的集群，如上为kubernetes，这只是个名称，实际为--server指向的apiserver；--certificate-authority设置了该集群的公钥；--embed-certs为true表示将--certificate-authority证书写入到kubeconfig中；--server则表示该集群的kube-apiserver地址

#用户参数
#本段主要设置用户的相关信息，主要是用户证书。如上的用户名为admin，证书为：/opt/kubernetes/ssl/admin.pem，私钥为：/opt/kubernetes/ssl/admin-key.pem。注意客户端的证书首先要经过集群CA的签署，否则不会被集群认可。此处使用的是ca认证方式，也可以使用token认证，如kubelet的 TLS Boostrap 机制下的 bootstrapping 使用的就是token认证方式。上述kubectl使用的是ca认证，不需要token字段

#上下文参数
#集群参数和用户参数可以同时设置多对，在上下文参数中将集群参数和用户参数关联起来。上面的上下文名称为default，集群为kubenetes，用户为admin，表示使用admin的用户凭证来访问kubenetes集群的default命名空间，也可以增加--namspace来指定访问的命名空间。

#最后使用 kubectl config use-context default 来使用名为 default 的环境项来作为配置。 如果配置了多个环境项，可以通过切换不同的环境项名字来访问到不同的集群环境。
#########################################################

2.5.2 执行脚本，生成配置

#拷贝证书
mkdir -p /opt/k8s/k8s-cert -p

scp 192.168.2.100:/opt/k8s/k8s-cert/admin.pem admin-key.pem  /opt/k8s/k8s-cert

./admin .sh

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

ls -A /root/.kube

在这里插入图片描述

2.5 查看node节点状态

ln -s /opt/kubernetes/bin/* /usr/local/bin/

kubectl get nodes
kubectl get nodes -o wide			
#-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名

在这里插入图片描述

此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接。

因此需要使用一个VIP把node节点与master节点都关联起来

三、部署nginx实现负载均衡

以nginx01节点的部署为例，nginx02节点的过程相同。

3.1 安装nginx

通过yum安装

#配置nginx的官方在线yum源，配置本地nginx的yum源
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOF

yum install nginx -y

3.2 修改nginx的配置文件

配置四层反向代理负载均衡，指定k8s群集2台master的节点ip和6443端口

#修改nginx配置文件，
vim /etc/nginx/nginx.conf
events {
    
    
    worker_connections  1024;
}

#添加
stream {
    
    
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
    
	access_log  /var/log/nginx/k8s-access.log  main;

    upstream k8s-apiserver {
    
    
        server 192.168.2.100:6443;
        server 192.168.2.106:6443;
    }
    server {
    
    
        listen 6443;
        proxy_pass k8s-apiserver;
    }
}

http {
    
    
......

在这里插入图片描述

#语法检查
nginx -t

在这里插入图片描述

3.3 启动nginx

#启动nginx服务，查看已监听6443端口
systemctl enable nginx --now
ss -natp | grep nginx

在这里插入图片描述

四、部署Keepalived实现双机热备

4.1 安装keepalived

yum install keepalived -y

在这里插入图片描述

4.2 修改配置文件

vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
    
    
   # 接收邮件地址
   notification_email {
    
    
     [email protected]
     [email protected]
     [email protected]
   }
   # 邮件发送地址
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id NGINX_MASTER	#lb01节点的为 NGINX_MASTER，lb02节点的为 NGINX_BACKUP
}

#添加一个周期性执行的脚本
vrrp_script check_nginx {
    
    
    script "/etc/nginx/check_nginx.sh"	#指定检查nginx存活的脚本路径
}

vrrp_instance VI_1 {
    
    
    state MASTER			#lb01节点的为 MASTER，lb02节点的为 BACKUP
    interface ens33			#指定网卡名称 ens33
    virtual_router_id 51	#指定vrid，两个节点要一致
    priority 100			#lb01节点的为 100，lb02节点的为 90
    advert_int 1
    authentication {
    
    
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    
    
        192.168.2.200/24	#指定 VIP
    }
    track_script {
    
    
        check_nginx			#指定vrrp_script配置的脚本
    }
}

在这里插入图片描述

4.3 编写nginx状态检查脚本

vim /etc/nginx/check_nginx.sh

#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then
    systemctl stop keepalived
fi


chmod +x /etc/nginx/check_nginx.sh

在这里插入图片描述

4.4 启动keepalived服务

一定要先启动nginx服务,再启动keepalived服务

#启动keepalived
systemctl enable keepalived --now

ip a				#查看VIP是否生成

在这里插入图片描述

4.5 修改node节点的配置文件

修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP

cd /opt/kubernetes/cfg/
vim bootstrap.kubeconfig 
server: https://192.168.2.200:6443
                      
vim kubelet.kubeconfig
server: https://192.168.2.200:6443
                        
vim kube-proxy.kubeconfig
server: https://192.168.2.200:6443

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

#重启kubelet和kube-proxy服务
systemctl restart kubelet.service 
systemctl restart kube-proxy.service

在这里插入图片描述

#切换到VIP所在的节点
#查看nginx 和 node 、 master 节点的连接状态
ss -natp | grep nginx

在这里插入图片描述

五、测试

5.1 在master01节点创建测试pod

#测试创建pod
kubectl run nginx --image=nginx

#查看Pod的状态信息
kubectl get pods

在这里插入图片描述

5.2 获取Pod的Cluster IP 地址

在 Kubernetes 中，每个 Pod 都会被分配一个 Cluster IP 地址，用于在集群内部网络中进行通信。

kubectl get pods -o wide

在这里插入图片描述

可以看到Pod的cluster ip 为10.244.1.3

5.3 访问测试

#Pod属于node02节点，切换到node02访问
firefox http://10.244.1.3

在这里插入图片描述

六、基于Web的Kubernetes用户界面

部署 Dashboard

6.1 编写配置文件（master01节点）

#上传 recommended.yaml 文件到 /opt/k8s 目录中
cd /opt/k8s
vim recommended.yaml


#默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001     #添加
  type: NodePort          #添加
  selector:
    k8s-app: kubernetes-dashboard

在这里插入图片描述

6.2 创建Kubernetes Dashboard

kubectl apply -f recommended.yaml

在这里插入图片描述

6.2 登录Dashboard

6.2.1 授予dashboard-admin 集群管理员权限

#创建service account并绑定默认cluster-admin管理员集群角色
kubectl create serviceaccount dashboard-admin -n kube-system

kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

在这里插入图片描述

6.2.2 获取登录Token

#获取 kube-system 命名空间中 dashboard-admin 相关的 Secret 的详细信息
#生成用于在 Kubernetes 仪表板中登录的 token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

#这是用于身份验证的 Secret
#其中包含了一个用于在 Kubernetes 仪表板中登录的 token
#ca.crt：Kubernetes 证书颁发机构（CA）的证书。
#namespace：ServiceAccount 所属的命名空间。
#token：用于身份验证的 token。

在这里插入图片描述

6.2.3 登录，进入Dashboard登录引导界面

#使用输出的token登录Dashboard
#https://NodeIP:30001

#以node02为例
https://192.168.2.103:30001

在这里插入图片描述

eyJhbGciOiJSUzI1NiIsImtpZCI6IlVmM2dMc2lZdUlHNmJTSE5wNVZYcXBUTzM4Yi1haHVPd2ZibFNGbFVMMlEifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4tNzRicDQiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiMDFjNmZmYzAtMDQyYy00NGNhLWJjMmMtNDg2OWM2NTc2Zjk1Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbiJ9.AQPXMQMZmPaCqCB8FQrpDG2NXzMDu90FENg461Z4nfmjiIQ4UAJHtR4AKsux46UxT17Y0st0Y50XQgtJXhJk4KbUUOa2X7JKZdti-f_bWNoXh2slCJWRSGpm1_xkjTbE6IL9JXKJdpS3hY7yhDN0EW7rc4MJvLN2NguVbpebZ5VdkUTmk3ZCrtOPKhap--lLg7UIkU7DyDavwZr7dmAY6TmO80avTE3_JULQPT06iJJuz6MJeyruPyQC0qiGBnRALzV4QlyDK2bsNQkulXLQdqhio3O1SjtBM-ob176emCa-dxey8c-vK_9d_L8ljcDr3Magac6r3aGaDT_f_fv_tw

6.2.3 进入仪表盘，查看集群相关信息

在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/q2524607033/article/details/134200408
今日推荐
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
【转】spring中对控制反转和依赖注入的理解
tms webcore 安装和使用
java程序员进阶相关书籍
SpringMVC接受请求参数、
如何保存训练好的机器学习模型
MyEclipse、Eclipse设置项目JDK的三个地方
商超行业微信小程序开发定制一般多少钱 （行业技术人员解读）
Markdown编辑器语言——30分钟入门到到精通
Linux系统下MongoDB的简单安装与基本操作
Power Strings
每日归档
更多
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022