一、安装方式介绍

1、yum 安装

目前CentOS官方已经把Kubernetes源放入到自己的默认 extras 仓库里面，使用 yum 安装，好处是简单，坏处也很明显，需要官方更新 yum 源才能获得最新版本的软件，而所有软件的依赖又不能自己指定，尤其是你的操作系统版本如果低的话，使用 yum 源安装的 Kubernetes 的版本也会受到限制，通常会低于官方很多版本，我安装的时候目前官方版本为1.12，而 yum 源中的版本为1.5.2。

2、二进制安装

使用二进制文件安装，好处是可以安装任意版本的 Kubernetes，坏处是配置比较复杂，很多软件包因为一些原因，我们在大陆是访问不到的。

3、Kubeadm 安装

kubeadm 是 Kubernetes 官方提供的用于快速安装 Kubernetes 集群的工具，伴随Kubernetes每个版本的发布都会同步更新，kubeadm会对集群配置方面的一些实践做调整，通过实验 kubeadm 可以学习到 Kubernetes 官方在集群配置上一些新的最佳实践。

1.4 版本对于Linux主要发行版本Ubuntu Xenial和Red Hat centos7的用户，可以使用熟悉的 apt-get 和 yum 来直接安装 Kubernetes。再比如，1.4版本引入了 kubeadm 命令，将集群启动简化为两条命令，不需要再使用复杂的kube-up脚本。

Kubernetes 的官方文档更新的速度太快了，我们注意到在 Kubernetes 1.9 的文档Using kubeadm to Create a Cluster中已经给出了目前1.9的 kubeadm 的主要特性已经处于beta状态了，在2018年将进入GA状态，说明kubeadm离可以在生产环境中使用的距离越来越近了，这也是我们以后注意使用的安装方式，但是为了了解其中的安装过程，我们先从其他两种安装方式入手。

这里我们选用第一种方式安装。

二、主要组件说明

1、Master组件

Master组件提供集群的管理控制中心。

Master组件可以在集群中任何节点上运行。但是为了简单起见，通常在一台VM/机器上启动所有Master组件，并且不会在此VM/机器上运行用户容器

kube-apiserver
kube-apiserver用于暴露Kubernetes API。任何的资源请求/调用操作都是通过kube-apiserver提供的接口进行。

ETCD
etcd是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划。

kube-controller-manager
kube-controller-manager运行管理控制器，它们是集群中处理常规任务的后台线程。逻辑上，每个控制器是一个单独的进程，但为了降低复杂性，它们都被编译成单个二进制文件，并在单个进程中运行。

这些控制器包括：

节点（Node）控制器。
副本（Replication）控制器：负责维护系统中每个副本中的pod。
端点（Endpoints）控制器：填充Endpoints对象（即连接Services＆Pods）。
Service Account和Token控制器：为新的Namespace 创建默认帐户访问API Token。

cloud-controller-manager
云控制器管理器负责与底层云提供商的平台交互。云控制器管理器是Kubernetes版本1.6中引入的，目前还是Alpha的功能。

云控制器管理器仅运行云提供商特定的（controller loops）控制器循环。可以通过将--cloud-provider flag设置为external启动kube-controller-manager ，来禁用控制器循环。

cloud-controller-manager 具体功能：

节点（Node）控制器
路由（Route）控制器
Service控制器
卷（Volume）控制器

kube-scheduler
kube-scheduler 监视新创建没有分配到Node的Pod，为Pod选择一个Node。

2、Node 组件

kubelet
kubelet是主要的节点代理，它会监视已分配给节点的pod，具体功能：

安装Pod所需的volume。
下载Pod的Secrets。
Pod中运行的 docker（或experimentally，rkt）容器。
定期执行容器健康检查。
Reports the status of the pod back to the rest of the system, by creating a mirror pod if necessary.
Reports the status of the node back to the rest of the system.

kube-proxy
kube-proxy通过在主机上维护网络规则并执行连接转发来实现Kubernetes服务抽象。

docker
docker用于运行容器。

flannel
Flannel 是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，需要另外下载部署。我们知道当我们启动 Docker 后会有一个用于和容器进行交互的 IP 地址，如果不去管理的话可能这个 IP 地址在各个机器上是一样的，并且仅限于在本机上进行通信，无法访问到其他机器上的 Docker 容器。Flannel 的目的就是为集群中的所有节点重新规划 IP 地址的使用规则，从而使得不同节点上的容器能够获得同属一个内网且不重复的 IP 地址，并让属于不同节点上的容器能够直接通过内网 IP 通信。

三、环境准备

1、节点准备

IP	角色	备注
172.18.8.200	master：kubernetes-master，etcd	CentOS7.5最小化安装
172.18.8.201	node01：kubernetes-node，flannel，docker	CentOS7.5最小化安装
172.18.8.202	node02：kubernetes-node，flannel，docker	CentOS7.5最小化安装

节点及网络规划图如下：

CentOS 7.5 使用 yum 源安装 Kubernetes 集群(二)

2、现在仓库中的版本

软件	版本
kubernetes-master	1.5.2-0.7.git269f928.el7
kubernetes-node	1.5.2-0.7.git269f928.el7
CentOS 7.5	CentOS Linux release 7.5.1804
etcd	3.2.22-1.el7
flannel	0.7.1-4.el7

3、主机名和解析

修改文件/etc/hostname。
编辑文件/etc/hosts，增加如下内容，

172.18.8.200 master.wzlinux.com master
172.18.8.201 node01.wzlinux.com node01
172.18.8.202 node02.wzlinux.com node02

4、关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

四、系统仓库yum安装

1、master节点安装

yum install kubernetes-master etcd -y

2、node节点安装

yum install kubernetes-node flannel docker -y

五、集群配置

1、配置etcd（matser）

在master节点上编辑文件/etc/etcd/etcd.conf，修改为如下内容，主要是修改监听IP：

[root@master ~]# cat /etc/etcd/etcd.conf
#[Member]
#ETCD_CORS=""
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
#ETCD_WAL_DIR=""
#ETCD_LISTEN_PEER_URLS="http://localhost:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
#ETCD_MAX_SNAPSHOTS="5"
#ETCD_MAX_WALS="5"
ETCD_NAME="default"
#ETCD_SNAPSHOT_COUNT="100000"
#ETCD_HEARTBEAT_INTERVAL="100"
#ETCD_ELECTION_TIMEOUT="1000"
#ETCD_QUOTA_BACKEND_BYTES="0"
#ETCD_MAX_REQUEST_BYTES="1572864"
#ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"
#ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"
#ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"
#
#[Clustering]
#ETCD_INITIAL_ADVERTISE_PEER_URLS="http://localhost:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"
#ETCD_DISCOVERY=""
#ETCD_DISCOVERY_FALLBACK="proxy"
#ETCD_DISCOVERY_PROXY=""
#ETCD_DISCOVERY_SRV=""
#ETCD_INITIAL_CLUSTER="default=http://localhost:2380"
#ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
#ETCD_INITIAL_CLUSTER_STATE="new"
#ETCD_STRICT_RECONFIG_CHECK="true"
#ETCD_ENABLE_V2="true"
#
#[Proxy]
#ETCD_PROXY="off"
#ETCD_PROXY_FAILURE_WAIT="5000"
#ETCD_PROXY_REFRESH_INTERVAL="30000"
#ETCD_PROXY_DIAL_TIMEOUT="1000"
#ETCD_PROXY_WRITE_TIMEOUT="5000"
#ETCD_PROXY_READ_TIMEOUT="0"
#
#[Security]
#ETCD_CERT_FILE=""
#ETCD_KEY_FILE=""
#ETCD_CLIENT_CERT_AUTH="false"
#ETCD_TRUSTED_CA_FILE=""
#ETCD_AUTO_TLS="false"
#ETCD_PEER_CERT_FILE=""
#ETCD_PEER_KEY_FILE=""
#ETCD_PEER_CLIENT_CERT_AUTH="false"
#ETCD_PEER_TRUSTED_CA_FILE=""
#ETCD_PEER_AUTO_TLS="false"
#
#[Logging]
#ETCD_DEBUG="false"
#ETCD_LOG_PACKAGE_LEVELS=""
#ETCD_LOG_OUTPUT="default"
#
#[Unsafe]
#ETCD_FORCE_NEW_CLUSTER="false"
#
#[Version]
#ETCD_VERSION="false"
#ETCD_AUTO_COMPACTION_RETENTION="0"
#
#[Profiling]
#ETCD_ENABLE_PPROF="false"
#ETCD_METRICS="basic"
#
#[Auth]
#ETCD_AUTH_TOKEN="simple"

启动并校验。

systemctl start etcd
systemctl enable etcd
systemctl status etcd

若要部署多节点集群也比较简单，参见 https://github.com/etcd-io/etcd/blob/master/Documentation/op-guide/clustering.md
[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS：该成员节点在整个集群中的通信地址列表，这个地址用来传输集群数据的地址。因此这个地址必须是可以连接集群中所有的成员的。
ETCD_INITIAL_CLUSTER：配置集群内部所有成员地址。

2、配置apiserver（master）

编辑文件/etc/kubernetes/apiserver，修改为如下，注意KUBE_ADMISSION_CONTROL参数：

[root@master ~]# cat /etc/kubernetes/apiserver
###
# kubernetes system config
#
# The following values are used to configure the kube-apiserver
#

# The address on the local server to listen to.
#KUBE_API_ADDRESS="--insecure-bind-address=127.0.0.1"
KUBE_API_ADDRESS="--address=0.0.0.0"

# The port on the local server to listen on.
KUBE_API_PORT="--port=8080"

# Port minions listen on
KUBELET_PORT="--kubelet-port=10250"

# Comma separated list of nodes in the etcd cluster
KUBE_ETCD_SERVERS="--etcd-servers=http://172.18.8.200:2379"

# Address range to use for services
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"

# default admission control policies
#KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,ResourceQuota"

# Add your own!
KUBE_API_ARGS=""

配置/etc/kubernetes/controller-manager和/etc/kubernetes/scheduler暂时不做修改，启动服务。

systemctl start kube-apiserver
systemctl start kube-controller-manager
systemctl start kube-scheduler
systemctl enable kube-apiserver
systemctl enable kube-controller-manager
systemctl enable kube-scheduler

3、配置node节点

所有node节点编辑配置文件/etc/kubernetes/config，修改为如下内容：

[root@node01 ~]# cat /etc/kubernetes/config
###
# kubernetes system config
#
# The following values are used to configure various aspects of all
# kubernetes services, including
#
#   kube-apiserver.service
#   kube-controller-manager.service
#   kube-scheduler.service
#   kubelet.service
#   kube-proxy.service
# logging to stderr means we get it in the systemd journal
KUBE_LOGTOSTDERR="--logtostderr=true"

# journal message level, 0 is debug
KUBE_LOG_LEVEL="--v=0"

# Should this cluster be allowed to run privileged docker containers
KUBE_ALLOW_PRIV="--allow-privileged=false"

# How the controller-manager, scheduler, and proxy find the apiserver
KUBE_MASTER="--master=http://172.18.8.200:8080"

编辑文件/etc/kubernetes/kubelet，修改内容如下：

[root@node01 ~]# cat /etc/kubernetes/kubelet
###
# kubernetes kubelet (minion) config

# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)
KUBELET_ADDRESS="--address=127.0.0.1"

# The port for the info server to serve on
KUBELET_PORT="--port=10250"

# You may leave this blank to use the actual hostname
KUBELET_HOSTNAME="--hostname-override=172.18.8.201"

# location of the api-server
KUBELET_API_SERVER="--api-servers=http://172.18.8.200:8080"

# pod infrastructure container
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"

# Add your own!
KUBELET_ARGS=""

启动服务。

systemctl start kubelet
systemctl start kube-proxy
systemctl enable kubelet
systemctl enable kube-proxy

4、配置flannel

编辑所有node节点/etc/sysconfig/flanneld，修改内容如下：

[root@node01 ~]# cat /etc/sysconfig/flanneld
# Flanneld configuration options  

# etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="http://172.18.8.200:2379"

# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="/atomic.io/network"

# Any additional options that you want to pass
#FLANNEL_OPTIONS=""

在master节点上为 falnnel 创建分配的网络。

[root@master ~]#  etcdctl mk /atomic.io/network/config '{"Network": "10.244.0.0/16"}'

在各node节点上启动 flannel。

systemctl start flanneld
systemctl enable flanneld

六、检查验收

1、创建Pod检查

在master查看各node节点情况。

[root@master ~]# kubectl get nodes
NAME           STATUS    AGE
172.18.8.201   Ready     59m
172.18.8.202   Ready     14m

部署nginx测试，因为拉取镜像速度可能慢，可以先在各node节点拉取好。
创建文件nginx-pod.ymal。

apiVersion: v1
kind: Pod
metadata:
  name: nginx-pod
  labels:
    name: nginx-pod
spec:
  containers:
  - name: nginx
    image: nginx
    ports:
    - containerPort: 80

创建容器。

kubectl create -f nginx-pod.ymal

发现容器一直在创建。

[root@master ~]# kubectl get pods -o wide
NAME        READY     STATUS              RESTARTS   AGE       IP        NODE
nginx-pod   0/1       ContainerCreating   0          12m       <none>    172.18.8.201

这种情况，我们可以使用kubectl describe pod查看Pod因为什么原因一直卡主。

CentOS 7.5 使用 yum 源安装 Kubernetes 集群(二)

2、问题解决方法

看到问题之后我们就好去进行解决，我们在node节点上执行下面命令获取。

[root@node01 ~]# docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest
Trying to pull repository registry.access.redhat.com/rhel7/pod-infrastructure ... 
open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory

发现还是有问题，通过提示的路径查找该文件，是个软连接，链接目标是/etc/rhsm，并且是空的。
这里我们不能使用yum来安装rhsm，因为我们需要的软件会被覆盖掉，我们需要手动操作。

# 手动添加证书
wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm 
rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem
# 重新手动拉取
docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest

现在查看pod的状态就已经正常了。

[root@master ~]# kubectl get pods -o wide
NAME        READY     STATUS    RESTARTS   AGE       IP            NODE
nginx-pod   1/1       Running   0          40m       10.244.98.2   172.18.8.201

3、创建replicationController （RC）

创建文件nginx-rc.ymal，修改内容如下：

apiVersion: v1
kind: ReplicationController
metadata:
 name: nginx-rc
spec:
 replicas: 3
 selector:
  name: nginx-pod
 template:
  metadata:
   labels:
    name: nginx-pod
  spec:
   containers:
   - name: nginx-pod
     image: nginx
     ports:
     - containerPort: 80

创建副本控制器

[root@master ~]# kubectl create -f nginx-rc.ymal 
replicationcontroller "nginx-rc" created

[root@master ~]# kubectl get pods -o wide
NAME             READY     STATUS    RESTARTS   AGE       IP            NODE
nginx-rc-3gtpg   1/1       Running   0          4m        10.244.98.4   172.18.8.201
nginx-rc-9rc3m   1/1       Running   1          4m        10.244.64.3   172.18.8.202
nginx-rc-g3bh0   1/1       Running   1          4m        10.244.64.2   172.18.8.202
nginx-rc-vqw38   1/1       Running   0          4m        10.244.98.2   172.18.8.201
nginx-rc-w3xh8   1/1       Running   0          4m        10.244.98.3   172.18.8.201

如果遇到MissingClusterDNS的问题，可以重启node节点。

4、创建Service

创建文件nginx-svc.ymal，修改为如下内容：

apiVersion: v1
kind: Service
metadata:
 name: nginx-svc
spec:
 type: NodePort
 ports:
 - port: 80
   nodePort: 30001
 selector:
  name: nginx-pod

创建service。

[root@master ~]# kubectl create -f nginx-svc.ymal 
service "nginx-svc" created
[root@master ~]# kubectl get svc
NAME         CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
kubernetes   10.254.0.1       <none>        443/TCP        3h
nginx-svc    10.254.135.249   <nodes>       80:30001/TCP   15s

目前自带的 yum 源的软件版本都比较低，也可以更改仓库，使用稍微较高的一个版本。
http://cbs.centos.org/repos/virt7-kubernetes-110-release/x86_64/os/Packages/

CentOS 7.5 使用 yum 源安装 Kubernetes 集群(二)

一、安装方式介绍

1、yum 安装

2、二进制安装

3、Kubeadm 安装

二、主要组件说明

1、Master组件

2、Node 组件

三、环境准备

1、节点准备

2、现在仓库中的版本

3、主机名和解析

4、关闭防火墙

四、系统仓库yum安装

1、master节点安装

2、node节点安装

五、集群配置

1、配置etcd（matser）

2、配置apiserver（master）

3、配置node节点

4、配置flannel

六、检查验收

1、创建Pod检查

2、问题解决方法

3、创建replicationController （RC）

4、创建Service

猜你喜欢