干货｜使用kubeadm部署kubernetes集群

企业开发 2019-01-31 22:41:02 阅读次数: 0

点击上方“中兴开发者社区”，关注我们

每天读一篇一线开发者原创好文

使用kubeadm部署kubernetes集群

通过docker，我们可以在单个主机上快速部署各个应用，但是实际的生产环境里，不会单单存在一台主机，这就需要用到docker集群管理工具了，本文将简单介绍使用docker集群管理工具kubernetes进行集群部署。


1 环境规划与准备

本次搭建使用了三台主机，其环境信息如下：
| 节点功能 | 主机名 | IP |
| ——————|:—————-:|——————-:|
| master | master |192.168.1.11 |
| slave1 | slave1 |192.168.1.12 |
| slave2 | slave2 |192.168.1.13 |

在三台主机的/etc/hosts文件中添加以下内容

   
   
    
    
    
  1. vim /etc/hosts
    2. 
    
    
  2. #添加以下信息
    3. 
    
    
  3. 192.168.1.11 master
    4. 
    
    
  4. 192.168.1.12 slave1
    
     
    
      
                        扫描二维码关注公众号，回复：
      5136638 查看本文章
                        
      
                    
     
    5. 
    
    
  5. 192.168.1.13 slave2
    6.

关闭swap

   
   
    
    
    
  1. swapoff -a
    2.

再把/etc/fstab文件中带有swap的行注释。


关闭SELinux

   
   
    
    
    
  1. setenforce 0
    2. 
    
    
  2. vim /etc/sysconfig/selinux
    3. 
    
    
  3. #修改SELINUX属性
    4. 
    
    
  4. SELINUX=disabled
    5.

设置iptables

   
   
    
    
    
  1. cat <<EOF >  /etc/sysctl.d/k8s.conf
    2. 
    
    
  2. > net.bridge.bridge-nf-call-ip6tables = 1
    3. 
    
    
  3. > net.bridge.bridge-nf-call-iptables = 1
    4. 
    
    
  4. > EOF
    5. 
    
    
    6. 
    
    
  6. sysctl --system
    7.

安装socat等工具

   
   
    
    
    
  1. yum install -y ebtables socat
    2.

2 kubernetes安装

2.1 安装docker

官方推荐安装docker版本为1.12

   
   
    
    
    
  1. #yum安装docker
    2. 
    
    
  2. yum install -y docker
    3. 
    
    
  3. #设置docker开机启动
    4. 
    
    
  4. systemctl enable docker
    5. 
    
    
  5. #启动docker
    6. 
    
    
  6. systemctl start docker
    7.

验证docker版本

   
   
    
    
    
  1. docker --version
    2. 
    
    
  2. #以下为输出的版本信息
    3. 
    
    
  3. Docker version 1.12.6, build 85d7426/1.12.6
    4.

2.2 安装kubectl、kubelet、kubeadm

2.2.1 添加yum源

常用yum源均没有这几个安装包，需要添加专门的yum源

   
   
    
    
    
  1. cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    2. 
    
    
  2. [kubernetes]
    3. 
    
    
  3. name=Kubernetes
    4. 
    
    
  4. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    5. 
    
    
  5. enabled=1
    6. 
    
    
  6. gpgcheck=0
    7. 
    
    
  7. EOF
    8. 
    
    
    9. 
    
    
  9. #官方文档中的yum源为google，国内无法使用
    10.

2.2.2 安装kubectl、kubelet、kubeadm

   
   
    
    
    
  1. yum install -y kubelet kubeadm kubectl
    2.

2.2.3 启动kubelet

   
   
    
    
    
  1. #设置开机启动kubelet
    2. 
    
    
  2. systemctl enable kubelet
    3. 
    
    
  3. #启动kubelet
    4. 
    
    
  4. systemctl start kubelet
    5.

查询kubelet的状态

   
   
    
    
    
  1. systemctl status kubelet
    2.

初次安装的情况下kubelet应未启动成功，我们会按下面的步骤初始化集群后会自动启动的。


3 kubernetes集群配置

3.1 master节点配置

3.1.1 初始化master

根据官方文档进行初始化：

   
   
    
    
    
  1. kubeadm init --apiserver-advertise-address 192.168.1.11 --pod-network-cidr 10.244.0.0/16
    2. 
    
    
    3. 
    
    
  3. #--apiserver-advertise-address 192.168.1.11为master节点IP，部分文档也指定为0.0.0.0
    4. 
    
    
  4. #--pod-network-cidr 10.244.0.0/16为pod网络cidr
    5.

出现如下错误：

   
   
    
    
    
  1. [kubeadm] WARNING: kubeadm is in beta, please do not use it for production clusters.
    2. 
    
    
  2. unable to get URL "https://storage.googleapis.com/kubernetes-release/release/stable-1.7.txt": Get https://storage.googleapis.com/kubernetes-release/release/stable-1.7.txt: net/http: TLS handshake timeout
    3.

需要指定kubernetes-version。

首先查询版本

   
   
    
    
    
  1. kubeadm version
    2. 
    
    
  2. kubeadm version: &version.Info{Major:"1", Minor:"7", GitVersion:"v1.7.5",…………
    3.

版本为1.7.5，然后启动参数中加入版本：

   
   
    
    
    
  1. kubeadm init --apiserver-advertise-address 192.168.1.11 --pod-network-cidr 10.244.0.0/16 --kubernetes-version=v1.7.5
    2.

3.1.2 master节点依赖镜像

执行过程中会卡在如下步骤：

   
   
    
    
    
  1. [apiclient] Created API client, waiting for the control plane to become ready
    2.

因为kubenetes初始化启动会依赖某些镜像，而这些镜像默认会到google下载，我们需要手动下载下来这些镜像后再进行初始化。

使用CTRL+C结束当前进程，然后到/etc/kubernetes/manifests/目录下查看各个yaml文件，还有其他需要的镜像文件，汇总后如下：

   
   
    
    
    
  1. gcr.io/google_containers/etcd-amd64:3.0.17
    2. 
    
    
  2. gcr.io/google_containers/kube-apiserver-amd64:v1.7.5
    3. 
    
    
  3. gcr.io/google_containers/kube-controller-manager-amd64:v1.7.5
    4. 
    
    
  4. gcr.io/google_containers/kube-scheduler-amd64:v1.7.5
    5. 
    
    
  5. gcr.io/google_containers/pause-amd64:3.0
    6. 
    
    
  6. gcr.io/google_containers/kube-proxy-amd64:v1.7.5
    7. 
    
    
  7. quay.io/coreos/flannel
    8. 
    
    
  8. gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.4
    9. 
    
    
  9. gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.4
    10. 
    
    
  10. gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.4
    11.

因直接下载这些google镜像，下载不下来，我们通过下载dockerHUB/阿里云上的镜像，然后更改tag。

   
   
    
    
    
  1. #etcd-amd64:3.0.17
    2. 
    
    
  2. docker pull sylzd/etcd-amd64-3.0.17
    3. 
    
    
  3. docker tag docker.io/sylzd/etcd-amd64-3.0.17:latest gcr.io/google_containers/etcd-amd64:3.0.17
    4. 
    
    
    5. 
    
    
  5. #kube-apiserver-amd64:v1.7.5
    6. 
    
    
  6. docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/kube-apiserver-amd64:v1.7.5
    7. 
    
    
  7. docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/kube-apiserver-amd64:v1.7.5 gcr.io/google_containers/kube-apiserver-amd64:v1.7.5
    8. 
    
    
    9. 
    
    
  9. #kube-controller-manager-amd64:v1.7.5
    10. 
    
    
  10. docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/kube-controller-manager-amd64:v1.7.5
    11. 
    
    
  11. docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/kube-controller-manager-amd64:v1.7.5 gcr.io/google_containers/kube-controller-manager-amd64:v1.7.5
    12. 
    
    
    13. 
    
    
  13. #kube-scheduler-amd64:v1.7.5
    14. 
    
    
  14. docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/kube-scheduler-amd64:v1.7.5
    15. 
    
    
  15. docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/kube-scheduler-amd64:v1.7.5 gcr.io/google_containers/kube-scheduler-amd64:v1.7.5
    16. 
    
    
    17. 
    
    
  17. #pause-amd64:3.0
    18. 
    
    
  18. docker pull visenzek8s/pause-amd64:3.0
    19. 
    
    
  19. docker tag visenzek8s/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0
    20. 
    
    
    21. 
    
    
  21. #kube-proxy-amd64:v1.7.5
    22. 
    
    
  22. docker pull mirrorgooglecontainers/kube-proxy-amd64:v1.7.5
    23. 
    
    
  23. docker tag mirrorgooglecontainers/kube-proxy-amd64:v1.7.5 gcr.io/google_containers/kube-proxy-amd64:v1.7.5
    24. 
    
    
    25. 
    
    
  25. #quay.io/coreos/flannel
    26. 
    
    
  26. docker pull quay.io/coreos/flannel
    27. 
    
    
    28. 
    
    
  28. #k8s-dns-kube-dns-amd64:1.14.4
    29. 
    
    
  29. docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/k8s-dns-kube-dns-amd64:1.14.4
    30. 
    
    
  30. docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/k8s-dns-kube-dns-amd64:1.14.4 gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.4
    31. 
    
    
    32. 
    
    
  32. #k8s-dns-sidecar-amd64:1.14.4
    33. 
    
    
  33. docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/k8s-dns-sidecar-amd64:1.14.4
    34. 
    
    
  34. docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/k8s-dns-sidecar-amd64:1.14.4 gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.4
    35. 
    
    
    36. 
    
    
  36. #k8s-dns-dnsmasq-nanny-amd64:1.14.4
    37. 
    
    
  37. docker pull mirrorgooglecontainers/k8s-dns-dnsmasq-nanny-amd64:1.14.4
    38. 
    
    
  38. docker tag mirrorgooglecontainers/k8s-dns-dnsmasq-nanny-amd64:1.14.4 gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.4
    39.

master节点初始化成功，结果如下：

   
   
    
    
    
  1. Your Kubernetes master has initialized successfully!
    2. 
    
    
    3. 
    
    
  3. To start using your cluster, you need to run (as a regular user):
    4. 
    
    
    5. 
    
    
  5.   mkdir -p $HOME/.kube
    6. 
    
    
  6.   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    7. 
    
    
  7.   sudo chown $(id -u):$(id -g) $HOME/.kube/config
    8. 
    
    
    9. 
    
    
  9. You should now deploy a pod network to the cluster.
    10. 
    
    
  10. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
    11. 
    
    
  11.   http://kubernetes.io/docs/admin/addons/
    12. 
    
    
    13. 
    
    
  13. You can now join any number of machines by running the following on each node
    14. 
    
    
  14. as root:
    15. 
    
    
    16. 
    
    
  16.   kubeadm join --token 3f1db4.9f7ba7d52de40996 192.168.1.11:6443
    17.

需要记住kubeadm join —token这句，后面会用到


3.1.3 kubectl配置

   
   
    
    
    
  1. #对于非root用户
    2. 
    
    
  2. mkdir -p $HOME/.kube
    3. 
    
    
  3. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    4. 
    
    
  4. sudo chown $(id -u):$(id -g) $HOME/.kube/config
    5. 
    
    
    6. 
    
    
  6. #对于root用户
    7. 
    
    
  7. export KUBECONFIG=/etc/kubernetes/admin.conf
    8.

3.1.4 pod network配置

   
   
    
    
    
  1. kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml
    2.

安装完network之后，你可以通过kubectl get pods —all-namespaces来查看kube-dns是否在running来判断network是否安装成功。

   
   
    
    
    
  1. kubectl get pods --all-namespaces
    2. 
    
    
    3. 
    
    
  3. #运行正常的结果如下：
    4. 
    
    
  4. NAMESPACE     NAME                                            READY     STATUS    RESTARTS   AGE
    5. 
    
    
  5. kube-system   etcd-localhost.localdomain                      1/1       Running   0          1h
    6. 
    
    
  6. kube-system   kube-apiserver-localhost.localdomain            1/1       Running   0          1h
    7. 
    
    
  7. kube-system   kube-controller-manager-localhost.localdomain   1/1       Running   3          1h
    8. 
    
    
  8. kube-system   kube-dns-2425271678-27g6v                       3/3       Running   0          1h
    9. 
    
    
  9. kube-system   kube-flannel-ds-1mjq3                           1/1       Running   1          1h
    10. 
    
    
  10. kube-system   kube-proxy-mtjwb                                1/1       Running   0          1h
    11. 
    
    
  11. kube-system   kube-scheduler-localhost.localdomain            1/1       Running   0          1h
    12.

如果以上STATUS中存在不是Running的需要再进行解决。

由于安全原因，默认情况下pod不会被schedule到master节点上，可以通过下面命令解除这种限制：

   
   
    
    
    
  1. kubectl taint nodes --all node-role.kubernetes.io/master-
    2.

3.2 slave节点配置

3.2.1 slave节点依赖镜像

slave节点需要以下镜像：

   
   
    
    
    
  1. gcr.io/google_containers/kube-proxy-amd64:v1.7.5
    2. 
    
    
  2. quay.io/coreos/flannel
    3. 
    
    
  3. gcr.io/google_containers/pause-amd64:3.0
    4.

在msater节点上导出镜像

   
   
    
    
    
  1. docker save -o /opt/kube-pause.tar gcr.io/google_containers/pause-amd64:3.0
    2. 
    
    
  2. docker save -o /opt/kube-proxy.tar gcr.io/google_containers/kube-proxy-amd64:v1.7.5
    3. 
    
    
  3. docker save -o /opt/kube-flannel.tar quay.io/coreos/flannel
    4.

复制到slave主机/opt目录下，再导入即可：

   
   
    
    
    
  1. docker load -i /opt/kube-flannel.tar
    2. 
    
    
  2. docker load -i /opt/kube-proxy.tar
    3. 
    
    
  3. docker load -i /opt/kube-pause.tar
    4.

3.2.2 slave节点加入集群

在两个slave节点上执行：

   
   
    
    
    
  1. kubeadm join --token 3f1db4.9f7ba7d52de40996 192.168.1.11:6443
    2.

执行成功标志：

   
   
    
    
    
  1. Node join complete:
    2. 
    
    
  2. * Certificate signing request sent to master and response
    3. 
    
    
  3.   received.
    4. 
    
    
  4. * Kubelet informed of new secure connection details.
    5. 
    
    
    6. 
    
    
  6. Run 'kubectl get nodes' on the master to see this machine join.
    7.

在mster节点上执行kubectl get nodes查看是否成功：

   
   
    
    
    
  1. kubectl get nodes
    2. 
    
    
  2. NAME      STATUS    AGE       VERSION
    3. 
    
    
  3. master    Ready     56m       v1.7.5
    4. 
    
    
  4. slave1    Ready     1m        v1.7.5
    5. 
    
    
  5. slave2    Ready     1m        v1.7.5
    6.

可以看到，kubernetes集群已经部署成功，可以使用了。


参考资料

  1. Installing kubeadm，https://kubernetes.io/docs/setup/independent/install-kubeadm/

  2. 使用kubeadm在Red Hat 7/CentOS 7快速部署Kubernetes 1.7集群，http://dockone.io/article/2514

  3. CentOS7.3利用kubeadm安装kubernetes1.7.3完整版(官方文档填坑篇)，https://www.cnblogs.com/liangDream/p/7358847.html

  4. How to execute “kubeadm init” v1.6.4 behind firewall,https://stackoverflow.com/questions/44432328/how-to-execute-kubeadm-init-v1-6-4-behind-firewall

  5. 使用 kubeadm 创建 kubernetes 1.9 集群，https://www.kubernetes.org.cn/3357.html


如有疑问，欢迎交流


拓展阅读

docker学习1｜使用docker输出hello world

docker学习2｜在容器中部署nginx并保存、运行容器

干货｜基于nginx反向代理的同IP多域名解析

猜你喜欢

转载自blog.csdn.net/O4dC8OjO7ZL6/article/details/79005483
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
让自己的头脑极度开放
CentOS 6.5(x64) 和Redhat6.5操作系误删libc
高可用注册中心
【日记】12.28/【题解】AtCoder AGC041
XML（5）_XML 约束_DTD
Java集合Map（四）
树梅派安装桌面环境教程
pipenv 的 使用和安装
小程序白屏问题和内存研究
C语言简单选择排序
每日归档
更多
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022