#所有节点，关闭防火墙规则，关闭selinux，关闭swap交换
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
swapoff -a		#交换分区必须要关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab	#永久关闭swap分区，&符号在sed命令中代表上次匹配的结果

2，添加映射（所以节点）

192.168.135.90 master
192.168.135.196 node1
192.168.135.200 node2

3，调整内核参数（所有节点）

将桥接的 IPv4 流量传递到 iptables 的链

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

4，所以节点安装Docker

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF
#使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
#日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。

systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service 

docker info | grep "Cgroup Driver"
Cgroup Driver: system

5，所以节点配置K8S源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

6，所以节点安装kubeadm，kubelet和kubectl

yum install -y kubelet-1.21.3 kubeadm-1.21.3 kubectl-1.21.3

#开机自启kubelet
systemctl enable kubelet.service
systemctl start kubelet
#K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

7，部署kubernetes master节点（在master节点上执行）

kubeadm init \
--apiserver-advertise-address=192.168.135.90 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.21.3 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

参数说明

kubeadm init \
--apiserver-advertise-address=192.168.135.195\　　 　　　　          #指定master监听的地址，修改为自己的master地址
--image-repository registry.aliyuncs.com/google_containers \ 　　#指定为aliyun的下载源，最好用国内的
--kubernetes-version v1.18.0 \ 　　 　　　　　　　　　　　　　#指定k8s版本，1.18.0版本比较稳定
--service-cidr=10.96.0.0/12 \ 　　 　　　　　　　　　　　　　 #设置集群内部的网络
--pod-network-cidr=10.244.0.0/16 　　 　　　　　　　　　　　 #设置pod的网络
# service-cidr 和 pod-network-cidr 最好就用这个，不然需要修改后面的 kube-flannel.yaml 文件

执行以下命令可使用kubectl管理工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

8,token制作

node 节点加入集群需要生成的 token，token 有效期为 24 小时，过期需要重新创建
创建命令为

kubeadm join 192.168.135.90:6443 --token 5b7yfs.rzc5nubotnwifqdk --discovery-token-ca-cert-hash sha256:96394e1876e378e588d0f6028d7cc6ff0bf0a24858f91dbb2139d130eaa45080

9，k8s-node 节点加入 master 节点（两个 node 执行）

kubeadm join 192.168.135.90:6443 --token ms3gvn.1qgtq4ojurbko1a5 --discovery-token-ca-cert-hash sha256:8f9a6dd96faa1f1c2a9adc6e8388175a785f86af456e0450b483256fac804060

节点显示 NotReady 状态，需要安装网络插件

token 过期重新生成 token
kubeadm token create --print-join-command

10，master节点安装部署pod网络插件（flannel）

下载插件yaml插件

#国外网站
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
#国内网站
wget http://120.78.77.38/file/kube-flannel.yaml

#安装
kubectl apply -f kube-flannel.yaml

kubectl get pods -n kube-system

11，给node节点添加标签

kubectl label node node1 node-role.kubernetes.io/node=node1
kubectl label node node2 node-role.kubernetes.io/node=node2
#获取节点信息
kubectl get nodes

12，master检查

13，再次查询服务是否正常

#查询所有pod是否正常运行 
kubectl get pods -A 
#查询master是否正常 
kubectl get cs 
#查询node节点是否ready 
kubectl get nodes

14，测试K8S集群，在集群中创建pod，验证是否能正常运行

#部署服务
kubectl create deployment nginx --image=nginx
#暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pods
kubectl get svc(service)
#删除pod与svc
kubectl delete deploy/nginx
kubectl delete svc/nginx