Linux deployment in a multi-node cluster Kubernetes and KubeSphere container platform

KubeSphere in Kubernetes built upon application-centric of enterprise-class container platform , for all to provide users with a simple to use interface and wizard-style operation. Meanwhile, KubeSphere Installer provides features for rapid deployment and production-level cluster of Kubernetes full stack of container platform , users can quickly help companies quickly build a set of application-centric DevOps platforms.

KubeSphere support the deployment and operation including any infrastructure, public cloud, private cloud, VM, BM and Kubernetes and so on , it can be deployed in public cloud-hosted Kubernetes above (such as GKE, EKS, ACK), also deployed in support of privatization above Kubernetes (such as kubeadm, k3s, RKE deploying cluster). Meanwhile, KubeSphere support online and offline installation installation .

An article explains how to deploy Kubernetes cluster KubeSphere, this article will take you hands-on use KubeSphere Installer to deploy more than one node in the cluster Kubernetes 3 Linux machine , and open KubeSphere minimize installation.

Multi-NodeThat multi-node deployment, before deployment we recommend that you select a cluster in any one of the nodes as a background task execution machine (taskbox), for the task to prepare the deployment of a cluster to perform the deployment of additional nodes, and Taskbox should be able to other nodes to be deployed is made ssh communication .

KubeSphere 2.1 默认仅开启最小化安装，Installer 已支持自定义安装各个可插拔的功能组件，用户可根据业务需求和机器配置选择安装所需的组件，请确保开启可插拔组件之前机器资源满足最低要求，参考开启可选组件的安装。

安装时间跟网络情况和带宽、机器配置、安装节点个数等因素有关，可通过调高带宽的方式，或在安装前配置镜像加速器来加快安装速度。

说明：

本安装示例仅作为快速测试部署的演示，因此将使用默认的 OpenEBS 基于 Local Volume 提供持久化存储服务，OpenEBS 支持动态申请 PV，方便初次安装但没有准备存储服务端的场景下进行部署测试，正式环境建议配置使用 KubeSphere 支持的存储类型，参考持久化存储配置说明。

Multi-node 支持 Master 和 etcd 节点高可用配置，本示例为了方便多节点的快速测试安装演示，仅部署单个 Master 和单个 etcd，正式环境建议配置 Master 和 etcd 节点的高可用，请参阅文档的集群高可用部署配置。

前提条件

检查安装机器的网络防火墙是否已关闭，若未关闭防火墙则需要开放相关的指定端口，参考需开放的端口。

第一步: 准备主机

参考以下节点规格准备至少 3 台符合要求的主机开始 multi-node 模式的部署。为防止软件版本冲突，建议您选择多台干净的机器进行安装。

说明：

所有节点需要时间同步，否则可能会安装不成功；

若使用 ubuntu 16.04 建议使用其最新的版本 16.04.5；

若使用 ubuntu 18.04，则需使用 root 用户；

若 Debian 系统未安装 sudo 命令，则需要在安装前使用 root 用户执行 apt update && apt install sudo 命令安装 sudo 命令后再进行安装；

若选装 DevOps 功能组件时需保证有一台内存大于 8G 的节点，因为 Jenkins 默认的 JVM 设置会需要 6~8 G 的整块内存，若可用内存不足可能会造成该节点崩溃。

操作系统	最小配置（每台）
CentOS 7.5 (64 bit)	CPU：2 核，内存：4 G，系统盘：40 G
Ubuntu 16.04/18.04 LTS (64 bit)	CPU：2 核，内存：4 G，系统盘：40 G
Red Hat Enterprise Linux Server 7.4 (64 bit)	CPU：2 核，内存：4 G，系统盘：40 G
Debian Stretch 9.5 (64 bit)	CPU：2 核，内存：4 G，系统盘：40 G

以下用一个示例介绍 multi-node 模式部署多节点环境，本示例准备了 3 台 CentOS 7.5 的主机并以 root 用户准备安装。登录主机名为 Master 的节点作为任务执行机 Taskbox 来执行安装步骤。

在安装说明已经介绍了 KubeSphere 集群架构是由管理节点 (Master) 和工作节点 (Node) 构成的，这 3 台主机分别部署 1 个 Master 节点和 2 个 Node 节点。

假设主机信息如下所示：

主机 IP	主机名	集群角色
192.168.0.1	master	master，etcd
192.168.0.2	node1	node
192.168.0.3	node2	node

集群架构： 单 master 单 etcd 双 node

第二步: 准备安装配置文件

1. 下载 KubeSphere 2.1.0 安装包至待安装机器，进入 conf 目录。

$ curl -L https://kubesphere.io/download/stable/v2.1.0 > installer.tar.gz \
&& tar -zxf installer.tar.gz && cd kubesphere-all-v2.1.0/conf

2. 编辑主机配置文件 conf/hosts.ini，为了对目标机器及部署流程进行集中化管理配置，集群中各个节点在主机配置文件 hosts.ini 中应参考如下配置，建议使用 root 用户进行安装。

说明：

若以非 root 用户 (如 ubuntu 用户) 进行安装，[all] 部分可参考配置文件 conf/hosts.ini 的注释中 non-root 用户示例部分编辑。

如果在 taskbox 使用 root 用户无法 ssh 连接到其他机器，也需要参考 conf/hosts.ini 的注释中 non-root 用户示例部分，但执行安装脚本 install.sh 时建议切换到 root 用户。

master, node1, node2 作为集群各个节点的主机名，若需要自定义主机名则所有主机名需要都使用小写形式。

以下示例在 CentOS 7.5 上使用 root 用户安装，每台机器信息占一行，不能分行。

root 配置 hosts.ini 示例：

[all]
master ansible_connection=local  ip=192.168.0.1
node1  ansible_host=192.168.0.2  ip=192.168.0.2  ansible_ssh_pass=PASSWORD
node2  ansible_host=192.168.0.3  ip=192.168.0.3  ansible_ssh_pass=PASSWORD

[kube-master]
master

[kube-node]
node1
node2

[etcd]
master

[k8s-cluster:children]
kube-node
kube-master

说明：

[all]：中需要修改集群中各个节点的内网 IP 和主机 root 用户密码：
主机名为 "master" 的节点作为已通过 SSH 连接的 Taskbox 所以无需填写密码。
Node 节点的参数比如 node1 和 node2 的 ansible_host 和 ip 都替换为当前 node1 和 node2 的内网 IP，将 ansible_ssh_pass 相应替换为 node1 和 node2 的 root 用户密码。
参数解释：

- ansible_connection: 与主机的连接类型，此处设置为 local 即本地连接
- ansible_host: 集群中将要连接的主机地址或域名
- ip: 集群中将要连接的主机 IP
- ansible_user: 默认的 SSH 用户名 (非 root)，例如 ubuntu
- ansible_become_pass: 默认的 SSH 用户登录密码
- ansible_ssh_pass: 待连接主机 root 用户的密码

[kube-master] 和 [etcd]：应将主机名 "master" 填入 [kube-master] 和 [etcd] 部分，"master" 节点作为 taskbox，用来执行整个集群的安装任务，同时 "master" 节点在 KubeSphere 集群架构中也将作为 Master 节点管理集群和 etcd 节点负责保存集群的数据。

[kube-node]：将主机名 "node1"，"node2" 填入 [kube-node] 部分，作为 KubeSphere 集群的 node 节点。

[local-registry]：离线安装包中该参数值表示设置哪个节点作为本地镜像仓库，默认值为 master 节点。建议给该节点的 /mnt/registry 单独挂盘 (参考 fdisk 命令)，使镜像可保存在持久化存储并节省机器空间。

第三步: 安装 KubeSphere

KubeSphere 多节点部署会自动化地进行环境和文件监测、平台依赖软件的安装、Kubernetes 和 etcd 集群的自动化部署，以及存储的自动化配置。Installer 默认安装的 Kubernetes 版本是 v1.15.5。

说明：

通常情况您不需要修改任何配置，直接安装即可。

网络插件默认是 calico，存储默认用 OpenEBS 基于 Local Volume 提供持久化存储服务，若您需要自定义安装参数，如网络、存储、负载均衡器插件、可选功能组件等相关配置需在 conf/common.yaml 文件中指定或修改，参考集群组件配置说明。

支持存储类型：GlusterFS、Ceph RBD、NFS、Local Volume、QingCloud 云平台块存储 (QingCloud 公有云单节点挂盘限制为 10 块)、QingStor NeonSAN，存储配置相关的详细信息请参考存储配置说明。

由于 Kubernetes 集群的 Cluster IP 子网网段默认是 10.233.0.0/18，Pod 的子网网段默认是 10.233.64.0/18，因此安装 KubeSphere 的节点 IP 地址范围不应与以上两个网段有重复，若遇到地址范围冲突可在配置文件 conf/common.yaml 修改 kube_service_addresses 或 kube_pods_subnet 的参数。

参考以下步骤开始 multi-node 部署。

说明：由于 multi-node 的安装时间跟网络情况和带宽、机器配置、安装节点个数等因素都有关，此处暂不提供时间标准。

1. 进入安装目录，建议使用 root 用户执行 install.sh 安装脚本：

$ cd scripts
$ ./install.sh

2. 输入数字 2 选择第二种 Multi-node 模式开始部署，安装程序会提示您的环境是否前提条件，若满足请输入 "yes" 开始安装。

################################################
         KubeSphere Installer Menu
################################################
*   1) All-in-one
*   2) Multi-node
*   3) Quit
################################################
https://kubesphere.io/               2018-10-14
################################################
Please input an option: 2

3. 验证 KubeSphere 集群部署是否成功：

(1) 待安装脚本执行完后，当看到如下 "Successful" 界面，则说明 KubeSphere 安装成功。

successsful!
#####################################################
###              Welcome to KubeSphere!           ###
#####################################################

Console: http://192.168.0.1:30880
Account: admin
Password: P@88w0rd

NOTE：Please modify the default password after login.
#####################################################

提示：如需要再次查看以上的界面信息，可在安装包目录下执行 cat kubesphere/kubesphere_running 命令查看。

(2) 若需要在外网访问，在云平台需要在端口转发规则中将内网端口 30880 转发到源端口 30880，然后在防火墙开放这个源端口，确保外网流量可以通过该端口。

(3) 安装成功后，浏览器访问对应的 URL，如 http://{$公网IP}:30880，即可进入 KubeSphere 登录界面，可使用默认的用户名和密码登录 KubeSphere 控制台体验，登录后请立即修改默认密码。参阅快速入门帮助您快速上手 KubeSphere。

注意：登陆 Console 后请在 "集群状态" 查看服务组件的监控状态，待所有组件启动完成后即可开始使用，通常所有服务组件都将在 15 分钟内启动完成。

UI 快览

KubeSphere (https://github.com/kubesphere/kubesphere) 是一个开源的以应用为中心的容器管理平台，支持部署在任何基础设施之上，并提供简单易用的 UI，极大减轻日常开发、测试、运维的复杂度，旨在解决 Kubernetes 本身存在的存储、网络、安全和易用性等痛点，帮助企业轻松应对敏捷开发与自动化监控运维、端到端应用交付、微服务治理、多租户管理、多集群管理、服务与网络管理、镜像仓库、AI 平台、边缘计算等业务场景。