Ubuntu16.04上通过kubeadm安装指定版本的kubenetes

环境约束：kubeadm支持的Ubuntu 16.04+, CentOS 7 or HypriotOS v1.0.1+三种操作系统。

环境约束：Kubernetes1.9.0最大支持docker版本为17.03.X。

一、采用kubeadm

1. 安装docker

•     可以直接通过apt-get udpate && apt-get install -y docker.io 
•     docker version 得出版本为：Client/Server 1.13.1

    这里也可以指定docker版本下载，因为目前docker分为docker ce和docker ee两个版本，我们只能安装免费的docker ce。需要先安装相关工具：

apt-get update
apt-get install -y \
    apt-transport-https \
    ca-certificates \
    curl \
    software-properties-common

    添加秘钥

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -

    通过上面安装的add-apt-respostitory工具，将软件源添加到/etc/apt/source.list中

add-apt-repository \
   "deb https://download.docker.com/linux/$(. /etc/os-release; echo "$ID") \
   $(lsb_release -cs) \
   stable"

     最后，根据你自己想下载的docker版本进行下载：

apt-get update && apt-get install -y docker-ce= \
$(apt-cache madison docker-ce | grep 17.03 | head -1 | awk '{print $3}')

2. 在每台机器上安装kubectl，kubelet，kubeadm

    先下载一个工具

apt-get update && apt-get install -y apt-transport-https

    接下来添加秘钥

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

经测试这里可能报错： gpg:no valid OpenPGP data found

   注意：需要通过下面两条命令来解决：curl -O https://packages.cloud.google.com/apt/doc/apt-key.gpg 先保存一个apt-key.gpg的文件，再通过apt-key add apt-key.gpg来加载。

  添加Kubernetes软件源

cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF

   安装命令：

apt-get update && apt-get install -y kubelet kubeadm kubectl 这里采用对应版本安装，或者从已安装的机器上copy

   当然，以上的curl -O命令和apt-get命令，如果不成功，可以尝试加上proxychains前缀，通过socks代理实现下载，亲测可用。

   注意：在ubuntu14.04中kubelet kubectl kubeadm三个二进制文件存放目录为/usr/local/bin

             在ubuntu16.04中kubelet kubectl kubeadm三个二进制文件存放目录为/usr/bin/

             当然需要chmod a+x kubelet kubectl kubeadm 才能执行二进制文件。

3. 在master节点上运行Kubernetes

    通过1,2之后，发现还是无法使用kubectl，这里还需要执行如下命令：

    export KUBECONFIG=/etc/kubernetes/admin.conf

    这里如果只在终端里执行export，只能在当前终端中实现；可用在~/.bashrc文件中添加，也可以在/etc/profile文件中添加，区别就是对于当前用户还是所有用户生效，这里在/etc/profile中添加，使其生效可执行： source  /etc/profile

    在master节点上执行： 

kubeadm init --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=*.*.*.* --kubernetes-version=v1.9.0 --ignore-preflight-errors=Swap 

     init成功后，copy kubeadm join代码：

kubeadm join --token 39d241.e7c2601a87fdde0d 192.168.40.234:6443 --discovery-token-ca-cert-hash sha256:7629e2390cb578e06df313ece69754b9c82525da94532f0403bda3a9b5d2ba00

     注意1： /lib/systemd/system/docker.service.d/socks5-proxy.conf 中设置了docker的socks5代理。

  [Service]
  Environment="ALL_PROXY=socks5://192.168.40.101:1080"

     注意2： /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 中设置了kubelet和docker同一 类型cgroupfs，因为kubelet默认的是systemd类型。

Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs" 

 问题1：运行了kubeadm init后master的状态为notReady

 原因是：需要安装network addon，这里我们使用Flannel

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml

注意：如果运行出错，可能是需要添加， --iface=ens33，对应的是网卡名称

image: quay.io/coreos/flannel:v0.9.1-amd64
command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=ens33" ]

问题2： 怎么让master可以作为work节点，因为默认是不允许master作为工作节点的。

kubectl taint nodes --all node-role.kubernetes.io/master-

  问题3： 怎么在apt-get install kubectl kubeadm kubelet时，选择特定版本下载安装？

  以上是直接通过apt-get install -y kubectl kubeadm kubelet来安装的，这就不够灵活了。

curl -L --remote-name-all https://storage.googleapis.com/kubernetes-release/release/v1.9.0/bin/linux/amd64/{kubeadm,kubelet,kubectl}
其中${RELEASE}对应RELEASE="$(curl -sSL https://dl.k8s.io/release/stable.txt)"
例如：v1.10.0

      其中的$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)，可以替换成你想要的版本，比如：v1.9.0

       这里还需要获取/etc/systemd/system/kubelet.service文件

curl -sSL "https://raw.githubusercontent.com/kubernetes/kubernetes/${RELEASE}/build/debs/kubelet.service" | sed "s:/usr/bin:/opt/bin:g" > /etc/systemd/system/kubelet.service

      再创建/etc/systemd/system/kubelet.service.d/10-kubeadm.conf文件

mkdir -p /etc/systemd/system/kubelet.service.d
curl -sSL "https://raw.githubusercontent.com/kubernetes/kubernetes/${RELEASE}/build/debs/10-kubeadm.conf" | sed "s:/usr/bin:/opt/bin:g" > /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

问题4： 为什么执行kubeamd join之后，虽然在master上可以查看到节点，但是仍然为notReady？

这里还需要将admin.conf文件从master节点上拷贝到node节点上，同样可以写入/etc/profile

scp root@<masterIp>:/etc/kubernetes/admin.conf /etc/kubernetes/admin.conf

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
source /etc/profile

注意： 这里经过测试发现，在node节点上执行完kubeadm join之后，会在/etc/kubernetes目录下生成kubelet.conf文件，则不需要copy admin.conf文件，只需将

export KUBECONFIG=/etc/kubernetes/kubelet.conf添加至/etc/profile，并执行source /etc/profile。

问题5： 为什么kubectl proxy命令显示start server 127.0.0.1:8001，但是访问不了？

这是因为kubectl proxy如果没有任何参数的话，默认是只在本地开启访问，ip地址只能是127.0.0.1才能访问。但是可以通过添加参数，达到外界可以访问的目的：

kubectl proxy --address='0.0.0.0' --port=30099 --accept-hosts='^*$'  

这样就可以通过http://{nodeIP}:30099/访问到api了，这里在任何一台node上都可以。

4. 运行master以及通过kubeadm join添加node之后，也可以删除node节点   

kubectl drain nodeName --delete-local-data --force --ignore-daemonsets
kubectl delete node nodeName 

并且在node上执行如下命令进行清理：

kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

#以下命令相当于reset,比reset更彻底，例如删除了/etc/kubernetes目录
systemctl stop kubelet;
docker rm -f -v $(docker ps -q);
find /var/lib/kubelet | xargs -n 1 findmnt -n -t tmpfs -o TARGET -T | uniq | xargs -r umount -v;
rm -r -f /etc/kubernetes /var/lib/kubelet /var/lib/etcd;

5. 测试dns是否生效

kubectl run curl --image=radial/busyboxplus:curl -i --tty

nslookup kubernetes.default

结果如下：
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      kubernetes.default
Address 1: 10.96.0.1 kubernetes.default.svc.cluster.local

附加1：在ubuntu16.04.03中，开启内核IP转发，以及内核调优

• vim /etc/sysctl.conf  
• echo "net.netfilter.nf_conntrack_max=1000000" >> /etc/sysctl.conf
• echo "net.bridge.bridge-nf-call-iptables=1" >> /etc/sysctl.conf
• echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
• 使其立即生效： sysctl -p

附加2：Docker从1.13版本开始调整了默认的防火墙规则，禁用了iptables filter表中FOWARD链，这样会引起Kubernetes集群中跨Node的Pod无法通信，在各个Docker节点执行下面的命令：

• iptables -P FORWARD ACCEPT
• 查看iptables -nvL 

附加3：Kubernetes 1.8开始要求关闭系统的Swap，如果不关闭，默认配置下kubelet将无法启动。可以通过kubelet的启动参数--fail-swap-on=false更改这个限制。 我们这里关闭系统的Swap:

• swapoff -a
• 通过free -m查看是否关闭

这里如果在kubelet.service文件中添加一个参数，则可以忽略Swap，这样比较优雅，不会影响其他应用。

vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
Environment="KUBELET_EXTRA_ARGS=--fail-swap-on=false"

ExecStart=...$KUBELET_EXTRA_ARGS

附加4：通过kubectl命令获取secret，以及token，用于登录dashboard ui

kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin | awk '{print $1}')

附加5：k8s 1.6之后都采用了RBAC授权模型

• 默认cluster-admin是拥有全部权限的，将用户和cluster-admin bind这样用户就有cluster-admin的权限。
•  kubectl get clusterrole cluster-admin -o yaml 查看cluster-admin的权限。

那我们将用户和cluster-admin 绑定在一起这样用户也拥有cluster-admin的权限：

kubectl create clusterrolebinding login-on-dashboard-with-cluster-admin 
--clusterrole=cluster-admin --user=root

•  通过kubectl get clusterrolebinding/login-on-dashboard-with-cluster-admin -o yaml命令可以查看新建的用户权限。

附加6： 安装heapster插件，目前github上最新的tag是1.5.3版本

$ wget https://github.com/kubernetes/heapster/archive/v1.5.3.zip
$ unzip v1.5.3.zip
$ cd heapster-1.5.3/deploy/kube-config/influxdb
$ ls
grafana.yaml  heapster.yaml  influxdb.yaml

具体还需要通过kubectl create -f ./  运行yaml文件，并配置其中的参数。

RBAC Authorization的基本概念是Role和RoleBinding。Role是一些permission的集合；而RoleBinding则是将Role授权给某些User、某些Group或某些ServiceAccount。K8s官方博客《RBAC Support in Kubernetes》一文的中的配图对此做了很生动的诠释：

可以看到，在rules设定中，cluster-admin似乎拥有了“无限”权限。不过注意：这里仅仅授权给了一个service account，并没有授权给user或group。并且这里的kubernetes-dashboard是dashboard访问apiserver时使用的(下图右侧流程)，并不是user访问APIServer时使用的。

本文是通过在dashboard的service中添加NodePort作为对外提供服务的端口。

1. kubectl describe secret $(kubectl get secret -n kube-system |grep admin|awk "{print $1}")
   获取token
2. kubectl get svc -n kube-system
   获取到对外提供的NodePort
3. 这里用火狐浏览器访问：https://nodeIp:NodePort/即可。
   在谷歌浏览器上出现非安全连接的https证书问题。

我们需要给登录dashboard或者说apiserver的user(图左侧)进行授权。

参考链接： https://www.bladewan.com/2018/01/02/kubernetes_install/

https://tonybai.com/2017/07/20/fix-cannot-access-dashboard-in-k8s-1-6-4/