kubeadm安装Kubernetes 1.15最佳实践

前言

Kubernetes作为容器编排工具，简化容器管理，提升工作效率而颇受青睐。很多新手部署Kubernetes由于“科学上网”问题举步维艰，本文以实战经验详解kubeadm不用“科学上网”部署Kubernetes的最简方法。

一、Kubernetes简介

Kubernetes（简称K8S）是开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等功能，提高了大规模容器集群管理的便捷性。

K8S集群中有管理节点与工作节点两种类型。管理节点主要负责K8S集群管理，集群中各节点间的信息交互、任务调度，还负责容器、Pod、NameSpaces、PV等生命周期的管理。工作节点主要为容器和Pod提供计算资源，Pod及容器全部运行在工作节点上，工作节点通过kubelet服务与管理节点通信以管理容器的生命周期，并与集群其他节点进行通信。

二、环境准备

Kubernetes支持在物理服务器或虚拟机中运行，本次使用虚拟机准备测试环境，硬件配置信息如表所示：

Hostname	ip地址	系统
master	192.168.1.31	centos7
node1	192.168.1.32	centos7

注：在所有节点上进行如下操作

1.配置主机名

#master
[root@k8s-1 ~]# echo master > /etc/hostname

#node1
[root@k8s-2 ~]# echo node1 > /etc/hostname

2.配置hosts主机名解析

cat <<EOF>>/etc/hosts
192.168.1.31 master
192.168.1.32 node1
EOF

3.关闭防火墙、selinux和swap

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab
reboot

4.配置内核参数

cat <<EOF> /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf

5.配置国内yum源

mkdir /etc/yum.repos.d/bak
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
sed -i '/aliyuncs.com/d' /etc/yum.repos.d/*.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
curl -o /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum clean all
yum makecache -y

6.kube-proxy开启ipvs

cat <<EOF> /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules
bash /etc/sysconfig/modules/ipvs.modules
lsmod | grep -e ip_vs -e nf_conntrack_ipv4
yum install -y ipset ipvsadm

三、安装docker和kubeadm

注：在所有节点上进行如下操作

1.安装并启动docker

yum install -y yum-utils device-mapper-persistent-data lvm2
yum install -y docker-ce-18.09.9-3.el7

sed -i "11i ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT" /usr/lib/systemd/system/docker.service
mkdir /etc/docker
cat <<EOF> /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": ["https://registry.docker-cn.com"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF
mkdir -p /etc/systemd/system/docker.service.d

systemctl daemon-reload
systemctl start docker
systemctl enable docker

2.安装kubeadm、kubelet、kubectl

yum install -y kubelet-1.15.3 kubeadm-1.15.3 kubectl-1.15.3 wget

systemctl enable kubelet

Kubelet负责与其他节点集群通信，并进行本节点Pod和容器生命周期的管理。Kubeadm是Kubernetes的自动化部署工具，降低了部署难度，提高效率。Kubectl是Kubernetes集群管理工具。

四、部署master节点

注：在master节点上进行如下操作

1.在master进行Kubernetes集群初始化

kubeadm init --kubernetes-version=1.15.3 \
--apiserver-advertise-address=192.168.1.31 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

这一步很关键，由于kubeadm 默认从官网k8s.grc.io下载所需镜像，国内无法访问，因此需要通过–image-repository指定阿里云镜像仓库地址，很多新手初次部署都卡在此环节无法进行后续配置。

集群初始化成功后返回如下信息：

kubeadm join 192.168.1.31:6443 --token q4axiy.i6hs4ihqrfhkc4aq \
    --discovery-token-ca-cert-hash sha256:0430e28b57cd405097f45f775a5b26f8a712ecdcd298571199fb16e2a11f4ff1

记录生成的最后部分内容，此内容需要在其它节点加入Kubernetes集群时执行。

2.配置kubectl工具

mkdir -p /root/.kube
cp /etc/kubernetes/admin.conf /root/.kube/config

kubectl get nodes
kubectl get cs

3.部署flannel网络

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

五、部署node节点

注：在所有node节点上进行如下操作

1.执行如下命令，使所有node节点加入Kubernetes集群

kubeadm join 192.168.1.31:6443 --token q4axiy.i6hs4ihqrfhkc4aq \
    --discovery-token-ca-cert-hash sha256:0430e28b57cd405097f45f775a5b26f8a712ecdcd298571199fb16e2a11f4ff1

此命令为集群初始化时（kubeadm init）返回结果中的内容。

六、集群状态检查

注：在master节点上进行如下操作

1.在master节点输入命令检查集群状态，返回如下结果则集群状态正常。

[root@master ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   

[root@master ~]# kubectl get node
NAME     STATUS   ROLES    AGE     VERSION
master   Ready    master   8m49s   v1.15.3
node1    Ready    <none>   57s     v1.15.3

重点查看STATUS内容为Ready时，则说明集群状态正常。

2.创建Pod以验证集群是否正常。

kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc -o wide

[root@master ~]# curl -I 10.1.197.27
HTTP/1.1 200 OK
Server: nginx/1.17.3

七、在master节点部署dashboard

注：在master节点上进行如下操作

1.下载创建Dashboard的yaml文件

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta4/aio/deploy/recommended.yaml

使用如下命令或直接手动编辑kubernetes-dashboard.yaml文件

sed -i '/targetPort:/a\ \ \ \ \ \ nodePort: 32443\n\ \ type: NodePort' recommended.yaml

2.部署Dashboard

kubectl apply -f recommended.yaml

3.创建完成后，检查相关服务运行状态

kubectl get deployment kubernetes-dashboard -n kubernetes-dashboard
kubectl get pods -n kubernetes-dashboard -o wide
kubectl get services -n kubernetes-dashboard
netstat -ntlp|grep 32443

4.在Firefox浏览器输入Dashboard访问地址：https://192.168.1.31:32443

5.查看访问Dashboard的认证令牌

kubectl create serviceaccount  dashboard-admin -n kubernetes-dashboard
kubectl create clusterrolebinding  dashboard-admin --clusterrole=cluster-admin --serviceaccount=kubernetes-dashboard:dashboard-admin
kubectl describe secrets -n kubernetes-dashboard $(kubectl -n kubernetes-dashboard get secret | awk '/dashboard-admin/{print $1}')

6.解决Chrome浏览器不能打开kubernetes-dashboard

#创建存放证书的文件夹
mkdir key
cd key

#生成证书
openssl genrsa -out dashboard.key 2048
openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=192.168.1.31'
openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt

#删除原有的证书secret
kubectl delete secret kubernetes-dashboard-certs -n kubernetes-dashboard

#创建新的证书secret
kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kubernetes-dashboard

#查看pod
kubectl get pod -n kubernetes-dashboard

#重启pod
kubectl delete pod $(kubectl get pod -n kubernetes-dashboard|awk '/kubernetes-dashboard/{print $1}') -n kubernetes-dashboard

7.解决Chrome浏览器打开kubernetes-dashboard默认不是中文，把中文移到顶部再刷新页面（因为官方默认采用zh显示中文，而不是zh-CN。而浏览器默认为zh-CN。只需要改一下显示语言即可。后期可能会自适应中文。）

8.使用输出的token登录Dashboard。

认证通过后，登录Dashboard首页如图

参考：

• kubeadm安装Kubernetes 1.14最佳实践
• 使用kubeadm安装Kubernetes 1.15

未经允许不得转载：Linux备忘录 » kubeadm安装Kubernetes 1.15最佳实践