【k8s】k8s集群+nginx负载均衡+iptables防火墙转发策略（服务搭建）

企业开发 2022-08-15 18:58:54 阅读次数: 0

文章目录

前言

本博客内容仅为记录博主思路，仅供参考，一切以自己实践结果为准。

一、要求

  • Kubernetes 区域可采用 Kubeadm 方式进行安装
  • 要求在 Kubernetes 环境中，通过yaml文件的方式，创建2个Nginx Pod分别放置在两个不同的节点上，Pod使用hostPath类型的存储卷挂载，节点本地目录共享使用 /data，2个Pod副本测试页面二者要不同，以做区分，测试页面可自己定义
  • 编写service对应的yaml文件，使用NodePort类型和TCP 30000端口将Nginx服务发布出去
  • 负载均衡区域配置Keepalived+Nginx，实现负载均衡高可用，通过VIP 192.168.10.100和自定义的端口号即可访问K8S发布出来的服务
  • iptables防火墙服务器，设置双网卡，并且配置SNAT和DNAT转换实现外网客户端可以通过12.0.0.1访问内网的Web服务

二、架构

节点 IP地址 安装服务
master 192.168.13.10
node01 192.168.13.20
node02 192.168.13.30
nginx01 192.168.13.40
nginx02 192.168.13.50
iptables/网关 192.168.13.60/12.0.0.1
client 12.0.0.200（vim1仅主机）

三、搭建

3.1 初始化环境

#所有节点操作，关闭防火墙、selinux、swap交换、添加本地域名解析、调整内核参数、开启时间同步
systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab 

cat >> /etc/hosts << EOF
192.168.13.10 master01
192.168.13.20 node01
192.168.13.30 node02
192.168.13.40 nginx01
192.168.13.50 nginx02
EOF

cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF

sysctl --system

yum install ntpdate -y
ntpdate time.windows.com

3.2 k8s集群搭建（kubeadm安装）

#所有节点安装docke
yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
    
    
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    
    
    "max-size": "100m"
  }
}
EOF

systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service

docker info | grep "Cgroup Driver"
#成功则会显示：Cgroup Driver: systemd

#所有节点安装kubeadm，kubelet和kubectl
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#安装kubelet服务并设置为开机自启
yum install -y kubelet-1.20.11 kubeadm-1.20.11 kubectl-1.20.11
systemctl enable kubelet.service
#初始化环境配置结束



#在 master节点查看初始化需要哪些镜像
kubeadm config images list
cd /opt
#上传v1.20.11.zip压缩包至/opt目录（里面包含了所有需要的镜像，若没有则需要去官网下载）
unzip v1.20.11.zip -d /opt/k8s
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done

#复制镜像和脚本到node节点
scp -r /opt/k8s root@192.168.13.20:/opt
scp -r /opt/k8s root@192.168.13.30:/opt

kubeadm config print init-defaults > /opt/kubeadm-config.yaml
cd /opt
vim kubeadm-config.yaml
11行：localAPIEndpoint:
12行：advertiseAddress: 192.168.13.10
34行：kubernetesVersion: v1.20.11
35行：networking:
36行：dnsDomain: cluster.local
37行：podSubnet: "10.244.0.0/16"
38行：serviceSubnet: 10.96.0.0/16
39行：scheduler: {
    
    }
#末尾再添加以下内容（注意---也要加，因为是yaml文件，作为分隔符不可缺少）
--- 
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs
#配置文件到此结束

#调用配置文件生成
kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log

#执行下方三条命令（在上方命令的提示信息会出现）
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

#查看 kubeadm-init 日志，kubernetes配置文件目录，存放ca等证书和密码的目录
#less kubeadm-init.log
#ls /etc/kubernetes/
#ls /etc/kubernetes/pki	

#在所有node节点上导入镜像
cd /opt/k8s/v1.20.11
for i in $(ls *.tar); do docker load -i $i; done
#在所有node节点上执行（上方命令提示信息的最后一条信息，很长一段，在master节点上）
kubeadm join 192.168.13.10:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:很长一段，每次不同
#成功则会出现：Run 'kubectl get nodes'...this node join...的提示内容

#查看集群状态
kubectl get cs

#注：如果 kubectl get cs 发现集群不健康，更改以下两个文件（master节点）
#vim /etc/kubernetes/manifests/kube-scheduler.yaml 
#vim /etc/kubernetes/manifests/kube-controller-manager.yaml
#修改如下内容
#把--bind-address=127.0.0.1变成--bind-address=192.168.13.10		#修改成k8s的控制节点master01的ip
#把httpGet:字段下的hosts由127.0.0.1变成192.168.13.10（有两处）
#- --port=0					# 搜索port=0，把这一行注释掉
#systemctl restart kubelet

cd /opt
#所有节点上传flannel.tar到/opt目录中
docker load -i flannel.tar

#在master01节点上操作上传kube-flannel.yml文件到/opt目录中，部署CNI网络(39-44行可能需要改）
cd /opt
kubectl apply -f kube-flannel.yml
#此时可能需要等待几秒钟，才会出现ready
kubectl get nodes

3.3 编写yaml配置文件创建pod

  • 注意：yaml文件的格式要求非常严格，不要少任何一个字符，包括三个横杠
  • 注意：需要先为node节点打上标签，方可根据标签选择指定node
kubectl label node 192.168.13.20 disktype=han
kubectl label node 192.168.13.30 disktype=wang

---
apiVersion: v1
kind: Namespace
metadata:
  name: ns-nginx
---
apiVersion: v1
kind: Pod
metadata:
  labels:
    app: nginx
  name: nginx01
  namespace: ns-nginx
spec:
  volumes:
  - name: han
    hostPath:
      path: /data/pod/index.html

  containers:
  - image: nginx:1.14
    name: nginx01
    ports:
    - containerPort: 80
    volumeMounts:
    - name: han
      mountPath: /usr/share/nginx/html/index.html
      readOnly: true
  dnsPolicy: ClusterFirst
  restartPolicy: Always
  nodeSelector:
    disktype: han
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
  namespace: ns-nginx
spec:
  ports:
  - nodePort: 30000
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: NodePort

3.4 配置nginx负载均衡节点

#负载均衡nginx01节点操作
cat > /etc/yum.repos.d/nginx.repo << EOF
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/\$basearch/
gpgcheck=0
EOF
yum install -y nginx

vim /etc/nginx/nginx.conf
#添加如下内容（http模块同级别）
stream {
    
    
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
 
    access_log  /var/log/nginx/k8s-access.log  main;
 
    upstream k8s-apiservers {
    
    
        server 192.168.13.20:30000;
        server 192.168.13.30:20000;
    }
    server {
    
    
        listen 1314;
        proxy_pass k8s-apiservers;
    }
}
#添加内容到此结束

nginx -t
systemctl enable --now nginx

yum install -y keepalived
vim /etc/keepalived/keepalived.conf
	10行：smtp_server 127.0.0.1
	12行：router_id NGINX_01
	13-16行：删除
	14行：插入周期性执行脚本
	vrrp_script check_nginx {
    
    
    script "/etc/nginx/check_nginx.sh"
	}

	21行：interface ens33
	30行：192.168.13.100/32
	31-32：ip地址删除
	33行：留两个大括号，下面全部删除
	倒数第二行：最后一个大括号上方插入
    track_script {
    
    
        check_nginx
    }

systemctl enable --now keepalived.service
systemctl status keepalived.service
ip addr

#编写nginx检查脚本
vim /etc/nginx/check_nginx.sh
#!/bin/bash
#egrep -cv "grep|$$"用于过滤掉包含grep或者$$表示的当前shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
    systemctl stop keepalived
fi

chmod +x /etc/nginx/check_nginx.sh
crontab -e
	*/1 * * * * /etc/nginx/check_nginx.sh

#负载均衡nginx02节点操作
cat > /etc/yum.repos.d/nginx.repo << EOF
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/\$basearch/
gpgcheck=0
EOF
yum install -y nginx
yum install -y keepalived

crontab -e
	*/1 * * * * /etc/nginx/check_nginx.sh

#负载均衡nginx01节点操作
scp /etc/nginx/nginx.conf root@192.168.13.50:/etc/nginx/nginx.conf
scp /etc/keepalived/keepalived.conf root@192.168.13.50:/etc/keepalived/keepalived.conf
#/etc/keepalived/keepalived.conf需要修改三项配置（就是高可用的那三项）
scp /etc/nginx/check_nginx.sh root@192.168.13.50:/etc/nginx/check_nginx.sh

systemctl enable --now nginx
systemctl enable --now keepalived.service

3.5 配置防火墙/网关策略

systemctl stop firewalld
setenforce 0

vim /etc/sysctl.conf
	net.ipv4.ip_forward = 1

yum install iptables -y

cd /etc/sysconfig/network-scripts/
ls
cp ifcfg-ens33 ifcfg-ens35
vim ifcfg-ens35
	修改网卡，基础知识
ifdown ifcfg-ens35 && ifup ifcfg-ens35

iptables -t nat -A PREROUTING -i ens35 -d 12.0.0.1 -p tcp --dport 80 -j DNAT --to 192.168.13.100:1314
iptables -t nat -I POSTROUTING -s 12.0.0.0/24 -o ens33 -j SNAT --to-source 192.168.13.60

#客户端Centos系统网卡配置
IPADDR="12.0.0.200"
GATEWAY="12.0.0.1"

四、结语

  • 注意点：yaml的配置文件格式要求非常严格
  • 注意点：防火墙的iptables规则，要注意进出都要配置（SNAT/DNAT）

猜你喜欢

转载自blog.csdn.net/H875035681/article/details/125953643
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
循环神经网络（rnn）讲解
Tigao教程四：单独的关节运动
金蝶K3WISE15.0-注册套打教程
如何在Mac上配置Kubernetes
Android应用结束自身进程的方法
SpringMVC学习 十三 拦截器栈
中国驻洛杉矶总领馆举行新春招待会
HttpClient get post 发送
11 - three.js 笔记 - 绘制三维字体模型
Mysql递归获取某个父节点下面的所有子节点和子节点上的所有父节点
每日归档
更多
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022