一、简介
Kubernetes是Google 2014年创建管理的，是Google 10多年大规模容器管理技术Borg的开源版本。它是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。
1、通过Kubernetes你可以：
- 快速部署应用
- 快速扩展应用
- 无缝对接新的应用功能
- 节省资源，优化硬件资源的使用
2、Kubernetes 特点:
- 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud）
- 可扩展: 模块化, 插件化, 可挂载, 可组合
- 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展
3、Kubernetes整体架构：
Master
k8s集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求。
Master Node 由 API Server、Scheduler、ClusterState Store（ETCD 数据库）和 Controller MangerServer 所组成。
Nodes
集群工作节点，运行用户业务应用容器。
Nodes节点也叫Worker Node，包含kubelet、kube proxy 和 Pod（Container Runtime）。
二、Kubernetes环境搭建方式
部署 Kubernetes 环境（集群）主要有多种方式：
（1）minikube
minikube可以在本地运行Kubernetes的工具，minikube可以在个人计算机（包括Windows，macOS和Linux PC）上运行一个单节点Kubernetes集群，以便您可以试用Kubernetes或进行日常开发工作；
https://kubernetes.io/docs/tutorials/hello-minikube/
（2）kind
Kind和minikube类似的工具，让你在本地计算机上运行Kubernetes，此工具需要安装并配置Docker；
https://kind.sigs.k8s.io/
（3）kubeadm
Kubeadm是一个K8s部署工具，提供kubeadm init 和 kubeadm join两个操作命令，可以快速部署一个Kubernetes集群；
官方地址：
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
（4）二进制包
从Github下载发行版的二进制包，手动部署安装每个组件，组成Kubernetes集群，步骤比较繁琐，但是能让你对各个组件有更清晰的认识；
（5）yum安装
通过yum安装Kubernetes的每个组件，组成Kubernetes集群，不过yum源里面的k8s版本已经比较老了，所以这种方式用得也比较少了；
（6）第三方工具
有一些大神封装了一些工具，利用这些工具进行k8s环境的安装；
（7）花钱购买
直接购买类似阿里云这样的公有云平台k8s，一键搞定；
三、快速部署：Kubeadm部署Kubernetes
kubeadm是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通过两条指令完成一个kubernetes集群的部署。
创建一个Master节点：
kubeadm init 将Node节点加入到Master集群中：
kubeadm join <Master节点的IP和端口>1. 安装要求
- 在开始之前，部署Kubernetes集群机器需要满足以下几个条件：
- 3台以上机器，操作系统 CentOS7.7以上64位系统
- 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
- 集群中所有机器之间网络互通
- 可以访问外网，需要拉取镜像
- 禁止swap分区
2. 部署内容
- kubernetes1.21.0版本，docker20.10.22版本
- 在所有节点上安装Docker和kubeadm，kubenet
- 部署Kubernetes Master
- 部署容器网络插件
- 部署 Kubernetes Node，将节点加入Kubernetes集群中
3. 准备环境
这里我准备了三台机器
ip: 192.168.44.135 主机名：k8s-master-135 系统：centos8 配置：2核2G
ip: 192.168.44.133 主机名：k8s-node-133 系统：centos8 配置：2核2G
ip: 192.168.44.134 主机名：test-node-134 系统：centos8 配置：2核2G三台主机都需要执行如下命令：
关闭防火墙和selinux
systemctl stop firewalld
systemctl disable firewalld
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0关闭swap分区（k8s禁止虚拟内存以提高性能）
swapoff -a # 临时关闭
vim /etc/fstab # 注释到swap那一行 永久关闭添加主机名与IP对应关系(三台主机都执行)
echo '''
192.168.44.135 k8s-master-135
192.168.44.133 k8s-node-133
192.168.44.134 k8s-node-134
''' >> /etc/hosts各自修改主机名（从176-178各自顺序执行）
hostnamectl set-hostname k8s-master-135
hostnamectl set-hostname k8s-node-133
hostnamectl set-hostname k8s-node-134将桥接的IPv4流量传递到iptables的链(三台主机都执行)：
以下net.ipv4.ip_forward如存在=0，修改为1即可
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_recycle = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system时间同步
#启动chronyd服务
systemctl start chronyd
systemctl enable chronyd
date Tips：执行命令前 可以 使用 rpm -qa |grep chrony 查看系统是否已安装chrony，没有安装环境可使用 yum
install chrony 命令安装
4. 所有节点安装Docker/kubeadm/kubelet
1）Docker安装
卸载旧版本
Docker的旧版本被称为Docker或Docker引擎。如果安装了这些，请卸载它们以及相关的依赖项。
yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine如果 yum 报告未安装这些软件包，则可以。
更换镜像
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-8.repo #进入yum目录
cd /etc/yum.repos.d
# 删除目录下所有文件(注意完整复制，不要漏了那个点)
rm -rf ./*
# 安装正确的镜像源
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-vault-8.5.2111.repo
# 生成缓存
yum makecache安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的
yum install -y yum-utils device-mapper-persistent-data lvm2设置yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo可以查看所有仓库中所有docker版本，并选择特定版本安装
yum list docker-ce --showduplicates | sort -r安装docker
yum install -y docker-ce-3:20.10.9-3.el8如果有问题，参考这里解决：
Centos 8安装Docker及报错解决办法_duansamve的博客-CSDN博客_centos8 docker 安装失败
启动并加入开机启动
systemctl start docker
systemctl enable docker验证docker是安装成功
docker version
docker info配置镜像加速
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://ccdkz6eh.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker2）安装kubeadm，kubelet和kubectl
添加k8s阿里云YUM软件源
所有机器执行
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF#清除缓存
yum clean all
#把服务器的包信息下载到本地电脑缓存起来，makecache建立一个缓存
yum makecache
#列出kubectl可用的版本
yum list kubectl --showduplicates | sort -r安装kubeadm，kubelet和kubectl
所有机器执行
yum install -y kubelet-1.21.0 kubeadm-1.21.0 kubectl-1.21.0
systemctl start kubelet
systemctl enable kubelet查看有没有安装
yum list installed | grep kubelet
yum list installed | grep kubeadm
yum list installed | grep kubectl查看安装的版本： kubelet --version
Kubelet：运行在cluster所有节点上，负责启动POD和容器；
Kubeadm：用于初始化cluster的一个工具；
Kubectl：kubectl是kubenetes命令行工具，通过kubectl可以部署和管理应用，查看各种资源，创建，删除和更新组件；
此时应该重启一下centos
reboot5. 部署k8s的master和node节点
1）部署master节点，在192.168.44.135执行
初始化master节点
kubeadm init --apiserver-advertise-address=192.168.44.135 \
--apiserver-cert-extra-sans=127.0.0.1 \
--image-repository=registry.aliyuncs.com/google_containers \
--ignore-preflight-errors=all \
--kubernetes-version=v1.21.0 \
--service-cidr=10.10.0.0/16 \
--pod-network-cidr=10.18.0.0/16参数说明
--apiserver-advertise-address=192.168.44.135：这个参数就是master主机的IP地址，例如我的Master主机的IP是：192.168.44.135
--image-repository=registry.aliyuncs.com/google_containers：这个是镜像地址，由于国外地址无法访问，故使用的阿里云仓库地址：registry.aliyuncs.com/google_containers
--kubernetes-version=v1.17.4：这个参数是下载的k8s软件版本号
--service-cidr=10.96.0.0/12：这个参数后的IP地址直接就套用10.96.0.0/12 ,以后安装时也套用即可，不要更改
--pod-network-cidr=10.244.0.0/16：k8s内部的pod节点之间网络可以使用的IP段，不能和service-cidr写一样，如果不知道怎么配，就先用这个10.244.0.0/16
网段问题，两个网段不要重，后面是/16，不要与当前机器网段一样。
如果报错：
原因分析：
之前我的Docker是用yum安装的，docker的cgroup驱动程序默认设置为system。默认情况下Kubernetes cgroup为systemd，我们需要更改Docker cgroup驱动。
解决方法：
vim /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"]
}
# 重启docker
systemctl restart docker
# 重新初始化
kubeadm reset # 先重置
#重复上次【初始化master节点】的命令初始化master节点成功后会返回如下提示：
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.44.135:6443 --token pv0w8v.cit7bb03f5gb083x \
--discovery-token-ca-cert-hash sha256:fc10d7dd98e4ac9d6fae019c98dd4a247b88d3a9bc72510ab2f3ecd3383848a0 其中有生成一串命令用于node节点的加入，记录下来，接着执行以下命令
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config2）部署node节点，在192.168.44.133和192.168.44.134执行
这里复制上面生成的一串命令，我这里只是示例，命令根据你实际生成的复制去node节点执行
kubeadm join 192.168.44.135:6443 --token pv0w8v.cit7bb03f5gb083x \
--discovery-token-ca-cert-hash sha256:fc10d7dd98e4ac9d6fae019c98dd4a247b88d3a9bc72510ab2f3ecd3383848a0 3）验证
node节点上执行
kubectl get nodes
master节点192.168.44.135上执行
kubectl get nodes
6. 安装网络插件（CNI）
下面两种插件二选一，master上执行，如果是云服务器建议按照flannel，calico可能会和云网络环境有冲突。
1）安装flannel插件（轻量级用于快速搭建使用，初学推荐）
2）安装calico插件（master节点上执行，用于复杂网络环境）
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml如果安装失败，看Calico版本是否与Kubernetes版本匹配：
然后查看节点状态：
kubectl get nodes #在master机器上执行
说明还没有就绪，需要等一会儿，然后节点就就绪了。
至此我们的k8s环境就搭建好了 。
7. 测试kubernetes集群
在Kubernetes集群中创建一个pod，验证是否正常运行
创建一个pod，开放对外端口访问，这里会随机映射一个端口
kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort查看pod状态，必须是running状态而且ready是1，并查看nginx svc的80端口映射到了哪个端口
kubectl get pod,svc访问任意机器的刚刚查看的映射端口，看看是否nginx已经运行。
查看运行时容器pod （一个pod里面运行了多个docker容器）
kubectl get pods -n kube-system四. k8s常用命令
查看pod，service，endpoints，secret等等的状态
kubectl get 组件名 #例如kubectl get pod 查看详细信息可以加上-o wide 其他namespace的指定 -n namespace名创建，变更一个yaml文件内资源，也可以是目录，目录内包含一组yaml文件（实际使用中都是以yaml文件为主，直接使用命令创建pod的很少，推荐多使用yaml文件）
kubectl apply -f xxx.yaml #例如kubectl apply -f nginx.yaml #这里是如果没有则创建，如果有则变更，比create好用删除一个yaml文件内资源，也可以是目录，目录内包含一组yaml文件
kubectl delete -f xxx.yaml #例如kubectl delete -f nginx.yaml查看资源状态，比如有一组deployment内的pod没起来，一般用于pod调度过程出现的问题排查
kubectl describe pod pod名 #先用kubectl get pod查看 #有异常的复制pod名使用这个命令查看pod日志，用于pod状态未就绪的故障排查
kubectl logs pod名 # 先用kubectl get pod查看 #有异常的复制pod名使用这个命令查看node节点或者是pod资源（cpu，内存资源）使用情况
kubectl top 组件名 #例如kubectl top node kubectl top pod进入pod内部
kubectl exec -it pod名 /bin/bash #先用kubectl get pod查看 #有需要的复制pod名使用这个命令