k8s集群的部署

【1】安装docker

systemctl enable docker

所有节点均需要安装docker,并且使其开机自启，每个节点均部署镜像加速器

【2】配置k8s的yum文件

[root@k8s1 ~]# cd /etc/yum.repos.d/
[root@k8s1 yum.repos.d]# vim k8s.repo
[root@k8s1 yum.repos.d]# cat k8s.repo 
[k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/

[k8s@k8s1 ~]$ yum repolist
Loaded plugins: langpacks, product-id, search-disabled-repos, subscription-manager
k8s                                                                                                                                 561/561
repo id                                                           repo name                                                           status
HighAvailability                                                  HighAvailability                                                       51
ResilientStorage                                                  ResilientStorage                                                       56
docker-ce-stable/x86_64                                           Docker CE Stable - x86_64                                              79
dvd                                                               rhel7.6                                                             5,152
k8s                                                               k8s                                                                   561
repolist: 5,899

【3】安装 kubelet、kubeadm 和 kubectl（所有节点执行）

kubelet 运行在 Cluster 所有节点上，负责启动 Pod 和容器。

kubeadm 用于初始化 Cluster。

kubectl 是 Kubernetes 命令行工具。通过 kubectl 可以部署和管理应用，查看各种资源，创建、删除和更新各种组件。

 yum install kubelet kubeadm kubectl -y

【4】启动kubelet

此时，还不能启动kubelet，因为此时配置还不能，现在仅仅可以设置开机自启动

每个主机执行：

systemctl enable --now  kubelet

用 kubeadm 创建 Cluster

【1】环境准备（各个节点都需要执行下面的操作master,node）

1.CPU数量至少两个否则会报错

2.主机名必须解析 每个主机做解析

3.要保证打开内置的桥功能，这个是借助于iptables来实现的

 cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

4.需要禁止各个节点启用swap，如果启用了swap，那么kubelet就无法启动

[root@server1 ~]# swapoff -a && sysctl -w vm.swappiness=0
vm.swappiness = 0
[root@server1 ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:            769         305         104           5         359         312
Swap:             0           0           0

之后更改/etc/fstab文件将swap那一行注释掉即可实现永久关闭。

5.关闭防火墙和selinux

6.将docker的cgroup驱动更改为systemd

[k8s@k8s1 ~]$ sudo  cat /etc/docker/daemon.json
{
    
    
  "registry-mirrors": ["https://ioeo57w5.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    
    
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}

之后重启docker：

systemctl daemon-reload
systemctl restart docker

每个节点都需要设置：

[root@server1 docker]# scp daemon.json server2:/etc/docker/
daemon.json                                   100%  287   328.6KB/s   00:00    
[root@server1 docker]# scp daemon.json server3:/etc/docker/
daemon.json                                   100%  287   300.0KB/s   00:00

【2】初始化master

在初始化的时候可以选择更高的版本，例如：1.19.1

# kubeadm config print init-defaults	//查看默认配置信息
 
默认从k8s.gcr.io上下载组件镜像，需要翻墙才可以，所以需要修改镜像仓库：
 
# kubeadm config images list --image-repository registry.aliyuncs.com/google_containers	//列出所需镜像
 
# kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers	//拉取镜像
 
# kubeadm init --pod-network-cidr=10.244.0.0/16 --image-repository registry.aliyuncs.com/google_containers		//初始化集群
 
--pod-network-cidr=10.244.0.0/16	//使用flannel网络组件时必须添加
--kubernetes-version 	//指定k8s安装版本

其中字段含义：

• image-repository string：这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为国内镜像地址：registry.aliyuncs.com/google_containers，也可以先将镜像下载下来放到私有仓库直接从私有仓库拉取。
• kubernetes-version string：指定kubenets版本号，默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们可以将其指定为固定版本（最新版：v1.18.1）来跳过网络请求。
• apiserver-advertise-address 指明用 Master 的哪个 interface 与 Cluster
  的其他节点通信。如果 Master 有多个 interface，建议明确指定，如果不指定，kubeadm 会自动选择有默认网关的interface。
• pod-network-cidr指定 Pod 网络的范围。Kubernetes 支持多种网络方案，而且不同网络方案对 --pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。

看到下面的输出就表示你的集群创建成功了:

......
 
Your Kubernetes control-plane has initialized successfully!
 
To start using your cluster, you need to run the following as a regular user:
 
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
 
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
 
Then you can join any number of worker nodes by running the following on each as root:
 
kubeadm join 192.168.1.80:6443 --token ppjbls.alwij8qpsc6nz77j \
    --discovery-token-ca-cert-hash sha256:965e83493774c34e51b6213e43f3cb107fd1b51baad4e5db00f52b298068d259

成功后注意最后一个命令，这个join命令可以用来添加节点。

如果初始化失败，请使用如下代码清除后重新初始化

# kubeadm reset

【3】配置kubectl

kubectl 是管理 Kubernetes Cluster 的命令行工具，前面我们已经在所有的节点安装了 kubectl。Master 初始化完成后需要做一些配置工作，然后 kubectl 就能使用了。

[root@server1 ~]# mkdir -p $HOME/.kube
[root@server1 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@server1 ~]# chown $(id -u):$(id -g) $HOME/.kube/config

为了使用更便捷，启用 kubectl 命令的自动补全功能。

 [root@server1 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc

现在kubectl可以使用了

[root@server1 ~]#  kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
etcd-0               Healthy   {
    
    "health":"true"}   
controller-manager   Healthy   ok   

【4】安装pod网络

要让 Kubernetes Cluster 能够工作，必须安装 Pod 网络，否则 Pod 之间无法通信。

Kubernetes 支持多种网络方案，这里我们先使用 flannel，后面还会讨论 Canal。

[k8s@k8s1 ~]$  [root@server1 ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
bash: [root@server1: command not found...
[k8s@k8s1 ~]$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
podsecuritypolicy.policy/psp.flannel.unprivileged created
Warning: rbac.authorization.k8s.io/v1beta1 ClusterRole is deprecated in v1.17+, unavailable in v1.22+; use rbac.authorization.k8s.io/v1 ClusterRole
clusterrole.rbac.authorization.k8s.io/flannel created
Warning: rbac.authorization.k8s.io/v1beta1 ClusterRoleBinding is deprecated in v1.17+, unavailable in v1.22+; use rbac.authorization.k8s.io/v1 ClusterRoleBinding
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds-amd64 created
daemonset.apps/kube-flannel-ds-arm64 created
daemonset.apps/kube-flannel-ds-arm created
daemonset.apps/kube-flannel-ds-ppc64le created
daemonset.apps/kube-flannel-ds-s390x created

每个节点启动kubelet

systemctl restart kubelet
等镜像下载完成以后，看到node的状态是ready了

[k8s@k8s1 ~]$ kubectl  get node
NAME   STATUS     ROLES    AGE   VERSION
k8s1   Ready      master   79m   v1.19.1
k8s2   NotReady   <none>   60s   v1.19.1
k8s3   NotReady   <none>   30s   v1.19.1

此时，就可以看到pod信息了

[k8s@k8s1 ~]$ kubectl get pod -n kube-system
NAME                           READY   STATUS    RESTARTS   AGE
coredns-6d56c8448f-cfk4r       1/1     Running   0          80m
coredns-6d56c8448f-qd9df       1/1     Running   0          80m
etcd-k8s1                      1/1     Running   0          80m
kube-apiserver-k8s1            1/1     Running   0          80m
kube-controller-manager-k8s1   1/1     Running   0          80m
kube-flannel-ds-amd64-6mhhm    1/1     Running   0          2m38s
kube-flannel-ds-amd64-bjvg2    1/1     Running   0          10m
kube-flannel-ds-amd64-kcc2j    1/1     Running   0          2m
kube-proxy-k7vxd               1/1     Running   0          80m
kube-proxy-kl54p               1/1     Running   0          2m
kube-proxy-pz6pt               1/1     Running   0          2m38s
kube-scheduler-k8s1            1/1     Running   0          80m

[k8s@k8s1 ~]$ kubectl  get node
NAME   STATUS   ROLES    AGE     VERSION
k8s1   Ready    master   81m     v1.19.1
k8s2   Ready    <none>   3m32s   v1.19.1
k8s3   Ready    <none>   3m2s    v1.19.1
添加 node1 和 node2

第一步：环境准备

实验的准备之前都完成了

1.node节点关闭防火墙和selinux

2.禁用swap

解析主机名
4.启动内核功能

启动kubelet

只需要设置为开机自启动就可以了

systemctl enable kubelet
第二步：添加nodes

这里的–token 来自前面kubeadm init输出提示，如果当时没有记录下来可以通过kubeadm token list 查看。

在需要添加的节点运行：

kubeadm join 172.20.10.2:6443 --token rn816q.zj0crlasganmrzsr --discovery-token-ca-cert-hash sha256:e339e4dbf6bd1323c13e794760fff3cbeb7a3f6f42b71d4cb3cffdde72179903

第三步：查看nodes

根据上面最后一行的输出信息提示查看nodes

[root@server1 ~]# kubectl get nodes
NAME      STATUS     ROLES    AGE     VERSION
server1   Ready      master   38m     v1.18.1
server2   NotReady   <none>   2m41s   v1.18.1
server3   NotReady   <none>   2m10s   v1.18.1

这里其实需要等一会，这个server2 server3节点才会变成Ready状态，因为node节点需要下载四个镜像flannel coredns kube-proxy pause

过了一会查看节点状态

[root@server1 ~]# kubectl get nodes
NAME      STATUS   ROLES    AGE   VERSION
server1   Ready    master   47m   v1.18.1
server2   Ready    <none>   11m   v1.18.1
server3   Ready    <none>   11m   v1.18.1