centos7基于kubeadm安装部署Kubernetes （1.15.2）集群

一、什么是 Kubernetes

Kubernetes 是 Google （谷歌内部:Borg）开源的容器集群管理系统，其提供应用部署、维护、扩展机制等功能，利用 Kubernetes 能方便地管理跨机器运行容器化的应用，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。

二、 Kubernetes架构和组件

K8S集群中有管理节点与工作节点两种类型。

1）架构

k8s集群的管理节点，负责管理集群，提供集群的资源数据访问入口。拥有Etcd存储服务（可选），运行Api Server进程，Controller Manager服务进程及Scheduler服务进程，关联工作节点Node。Kubernetes API server提供HTTP Rest接口的关键服务进程，是Kubernetes里所有资源的增、删、改、查等操作的唯一入口。也是集群控制的入口进程；Kubernetes Controller Manager是Kubernetes所有资源对象的自动化控制中心；Kubernetes Schedule是负责资源调度（Pod调度）的进程
工作节点是Kubernetes集群架构中真正运行Pod的节点，为容器和Pod提供计算资源，Pod及容器全部运行在工作节点上，工作节点通过kubelet服务与管理节点通信以管理容器的生命周期，并与集群其他节点进行通信。

2）核心组件

管理节点：
1.Kubernetes API Server
　　作为Kubernetes系统的入口，其封装了核心对象的增删改查操作，以RESTful API接口方式提供给外部客户和内部组件调用。维护的REST对象持久化到Etcd中存储。
　 2.Kubernetes Scheduler
　　为新建立的Pod进行节点(node)选择(即分配机器)，负责集群的资源调度。组件抽离，可以方便替换成其他调度器。
　3.Kubernetes Controller
　　负责执行各种控制器，目前已经提供了很多控制器来保证Kubernetes的正常运行。
工作节点：
1.Kubelet
　　负责管控容器，Kubelet会从Kubernetes API Server接收Pod的创建请求，启动和停止容器，监控容器运行状态并汇报给Kubernetes API Server。
　 2.Kubernetes Proxy
　　负责为Pod创建代理服务，Kubernetes Proxy会从Kubernetes API Server获取所有的Service信息，并根据Service的信息创建代理服务，实现Service到Pod的请求路由和转发，从而实现Kubernetes层级的虚拟转发网络。
centos7基于kubeadm安装部署Kubernetes （1.15.2）集群

三、基础环境准备

环境配置信息如下（本次采用虚拟机作为测试环境）：

IP地址	主机名	系统	内核版本	CPU	内存
192.168.100.6	master01.cluster.k8	CentOS 7.6	5.2.6	4c	4G
192.168.100.7	node01.cluster.k8	CentOS 7.6	5.2.6	4c	4G
192.168.100.8	node02.cluster.k8	CentOS 7.6	5.2.6	4c	4G

1.设置主机名hostname，如在master节点上执行：

[root@master01 ~]# hostnamectl set-hostname master01.cluster.k8

可以按照此方式设置其它主机的主机名

2.添加本机的域名解析，修改master和node节点上的/etc/hosts文件，执行如下命令：

[root@master01 ~]# cat <<EOF >>/etc/hosts
192.168.100.6 master01.cluster.k8
192.168.100.7 node01.cluster.k8
192.168.100.8 node02.cluster.k8
EOF

3.关闭防火墙、selinux和swap

1）关闭防火墙

[root@master01 ~]#  systemctl stop firewalld
[root@master01 ~]#  systemctl disable firewalld

2）禁用selinux

[root@master01 ~]#  setenforce 0  #临时生效
[root@master01 ~]#  sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config  #永久生效（需要重启服务器）

3）关闭交换分区

[root@master01 ~]# swapoff -a
[root@master01 ~]# sed -i 's/.*swap.*/#&/' /etc/fstab

4.配置内核参数，将桥接的IPv4流量传递到iptables的链中

[root@master01 ~]# cat > /etc/sysctl.d/k8s.conf  <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
[root@master01 ~]# sysctl --system

注意：如果配置时出现No such file or directory,简单来说就是执行一下

[root@master01 ~]#  modprobe br_netfilter

5.安装ntpdate，保证集群时间同步

[root@master01 ~]# yum install -y ntpdate
[root@master01 ~]# ntpdate -u ntp.aliyun.com
#可以添加定时任务，进行时钟定时同步
[root@master01 ~]# crontab -e
*/10 * * * * /usr/sbin/ntpdate ntp.aliyun.com;/sbin/hwclock -w;

6.其他软件安装

[root@master01 ~]#yum install wget

7.配置yum源

1）配置阿里云的Kubernetes源

[root@master01 ~]#cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpghttps://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2）配置docker源

[root@master01 ~]#wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

四、安装部署

1、安装docker

[root@master01 ~]#yum install -y yum-utils device-mapper-persistent-data lvm2
# 列出Docker版本
[root@master01 ~]#yum list docker-ce --showduplicates | sort -r
# 安装指定版本
[root@master01 ~]#yum install docker-ce-18.06.3
[root@master01 ~]#systemctl enable docker && systemctl start docker

注意，如果测试环境没有公网ip的情况下，为了保证docker能够正常去拉取镜像，这时就需要为docker配置代理，配置方式如下：

1）直接修改/etc/sysconfig/docker，添加如下内容（不建议这种方式，这种方式在docker升级或者一些更新操作的时候会导致失效）

HTTP_PROXY="http://[proxy-addr]:[proxy-port]/"
HTTPS_PROXY="https://[proxy-addr]:[proxy-port]/"
export HTTP_PROXY HTTPS_PROXY

2）为docker服务创建一个systemd的目录，并创建docker proxy的代理配置文件，该方式配置后会一直生效

[root@master01 ~]# mkdir -p /etc/systemd/system/docker.service.d

创建/etc/systemd/system/docker.service.d/http-proxy.conf文件，并添加HTTP_PROXY环境变量

[root@master01 ~]#vim /etc/systemd/system/docker.service.d/http-proxy.conf
[Service]
Environment="HTTP_PROXY=http://[proxy-addr]:[proxy-port]/" "HTTPS_PROXY=https://[proxy-addr]:[proxy-port]/" "NO_PROXY=localhost,127.0.0.1,docker-registry.somecorporation.com"

重新加载配置：

 [root@master01 ~]#systemctl daemon-reload

重新启动docker

 [root@master01 ~]#systemctl restart docker

2、在三个节点分别安装kubeadm、kubelet、kubectl

[root@master01 ~]# yum install -y kubeadm、kubelet、kubectl
[root@master01 ~]# systemctl enable kubelet

Kubelet负责与其他节点集群通信，并进行本节点Pod和容器生命周期的管理。Kubeadm是Kubernetes的自动化部署工具，降低了部署难度，提高效率。Kubectl是Kubernetes集群管理工具

3、部署master管理节点

[root@master01 ~]# kubeadm init --kubernetes-version=1.15.2 \
--apiserver-advertise-address=192.168.100.6 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=100.64.0.0/10 \
--pod-network-cidr=10.244.0.0/16

注意：kubeadm在部署的过程中，默认是从k8s.grc.io下载镜像，国内访问会有问题，所以建议通过--image-repository自己来指定国内的镜像仓库，
这里使用阿里云的镜像仓库
如果集群初始化成功，则会返回如下信息

kubeadm join 192.168.100.6:6443 --token v***ht.38oa8f6snaaiycga     --discovery-token-ca-cert-hash sha256:4930dc9796565dd23f221ad7336afee37a7f4790c7487ded6ca26efffae3058a

这些信息是用于将其它node节点加入到Kubernetes集群，在其它node节点上直接执行上边这条命令信息，即可将节点加入到集群。

4、配置集群的管理工具kubectl

[root@master01 ~]#mkdir -p /root/.kube
cp /etc/kubernetes/admin.conf /root/.kube/config

注意：需要将master节点的/root/.kube/config同时也拷贝到其它node节点，否则在通过kubectl查看集群资源信息时会出现The connection to the server localhost:8080 was refused - did you specify the right host or port?错误。
如果将master节点的/root/.kube/config拷贝到其它node节点后，在其它node节点通过kubectl获取相关集群资源对象信息时出现Unable to connect to the server: Forbidden，请检查一下节点是否配置了https代理，如果需要取消代理。

5、部署node节点

直接节点上执行第三步中集群初始化完成后输出的信息，就可以将节点加入到Kubernetes集群中：

[root@node01 ~]#kubeadm join 192.168.100.6:6443 --token v***ht.38oa8f6snaaiycga     --discovery-token-ca-cert-hash sha256:4930dc9796565dd23f221ad7336afee37a7f4790c7487ded6ca26efffae3058a

此时查看集群的节点信息：

[root@master01 ~]#kubectl get nodes
NAME                STATUS   ROLES    AGE     VERSION
node01.cluster.k8   NotReady    master   5m   v1.15.2
node02.cluster.k8   NotReady    <none>   1m   v1.15.2
node03.cluster.k8   NotReady    <none>   1m   v1.15.2

可以看到集群节点的状态现在还处于NotReady状态，应为现在还没有安装网络插件，主流的网络插件有：flannel、calico、canel等

6、部署flannel网络

[root@master01 ~]#kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

部署过程中需要去拉取flannel镜像，可能会稍微慢一点，等部署完成后，在去查看集群状态，可以发现集群节点都已经Ready了。

[root@master01 ~]#kubectl get nodes
NAME                STATUS   ROLES    AGE     VERSION
node01.cluster.k8   Ready    master   15m   v1.15.2
node02.cluster.k8   Ready    <none>   10m   v1.15.2
node03.cluster.k8   Ready    <none>   10m   v1.15.2

这时候我们就可以通过kubectl工具去创建Pod了。

7、为了管理方便，可以为集群部署一个Dashboard

[root@master01 ~]#kubectl apply -f  https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml

注意点：

第一：k8s dashboard 的docker镜像默认是从k8s.grc.io下载镜像，国内可能无法访问，所以可以先下载kubernetes-dashboard.yaml到本地，然后修改 docker镜像的仓库地址为阿里云仓库地址。

[root@master01 ~]#wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
#替换镜像仓库
[root@master01 ~]#sed -i 's/k8s.gcr.io/registry.aliyuncs.com/google_containers/g' kubernetes-dashboard.yaml

第二：在kubernetes-dashboard.yaml中，关于 kubernetes-dashboard的服务（Service）的定义如下：

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kube-system
spec:
  ports:
    - port: 443
      targetPort: 8443
  selector:
    k8s-app: kubernetes-dashboard

默认没有指定spec.type，所以默认类型为ClusterIP，所以导致结果为kubernetes-dashboard服务没有映射本地端口，为能够通过节点IP+端口号的方式访问dashboard，则需要对kubernetes-dashboard.yaml做如下修改：

[root@master01 ~]#sed -i '/targetPort:/a\ \ \ \ \ \ nodePort: 30443\n\ \ type: NodePort' kubernetes-dashboard.yaml
#修改后，kubernetes-dashboard的服务（Service）的定义如下：
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kube-system
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30443
  type: NodePort
  selector:
    k8s-app: kubernetes-dashboard

centos7基于kubeadm安装部署Kubernetes （1.15.2）集群
重新部署Dashboard

[root@master01 ~]#kubectl delete -f kubernetes-dashboard.yaml
[root@master01 ~]#kubectl apply -f kubernetes-dashboard.yaml

建议使用火狐浏览器Firefox访问Dashboard的地址：https://192.168.100.6:30443

注意：使用其它浏览器可能无法访问，原因是Kubernetes Dashboard自身证书的问题，所以可以通过自己生成自签签证书来解决这个问题。可以参看：https://blog.51cto.com/10616534/2430512
centos7基于kubeadm安装部署Kubernetes （1.15.2）集群

8、获取登录Dashboard的token(令牌)：

#创建一个用于Dashboard访问集群的服务账号dashboard-admin
[root@master01 ~]#kubectl create serviceaccount  dashboard-admin -n kube-system
#将服务账号dashboard-admin和默认的集群角色cluster-admin绑定
[root@master01 ~]#kubectl create clusterrolebinding  dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
#获取token
[root@master01 ~]#kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

centos7基于kubeadm安装部署Kubernetes （1.15.2）集群

9、使用token登录Dashboard

centos7基于kubeadm安装部署Kubernetes （1.15.2）集群
认证通过后可以看到如下的Dashboard界面：

10、尝试部署一个pod，并通过Dashboard进行查看

[root@master01 ~]#kubectl create deployment my-nginx --image=nginx

centos7基于kubeadm安装部署Kubernetes （1.15.2）集群