Kubernetes API Server原理

Kubernetes API Server功能

Kubernete API Server的核心功能主要是为Kubernetes的各类资源对象（如 node,pod，service等）提供了增、删、改、查以及watch的HTTP Rest接口。
API server是集群中各个功能模块之间数据交互和通信的中心枢纽，除此之外它还有以下特性：

集群管理的API入口
资源配额控制的入口
提供完备的集群安全机制

常规API接口

Kubernetes的 API server通过 kube-apiserver进程提供服务，一般会监听两个端口，http的8080（使用参数 --insecure-port）和使用https的6443端口（--secure-port=6443）,两者功能相同，只https安全性更高。

常用的kubectl命令，也是通过与API Server的 REST调用来实现交互。

通过使用curl命令能直接获取REST api的信息。
通过本地8080端口查看版本：

[root@node-1 ~]# curl  127.0.0.1:8080/api
{
  "kind": "APIVersions",
  "versions": [
    "v1"
  ],
  "serverAddressByClientCIDRs": [
    {
      "clientCIDR": "0.0.0.0/0",
      "serverAddress": "10.0.0.1:6443"
    }
  ]
}

查看支持的资源对象：

curl  127.0.0.1:8080/api/v1

查看资源对象信息：

 curl  127.0.0.1:8080/api/v1/nodes
 curl  127.0.0.1:8080/api/v1/pods
 curl  127.0.0.1:8080/api/v1/services
 curl  127.0.0.1:8080/api/v1/replicationcontrollers

可以具体到某一个具体的对象：

 curl 127.0.0.1:8080/api/v1/nodes/10.0.0.3

也可以指定不同namespace中的对象进行访问：

 curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/php-apache

也可以直接访问后端服务内容：

 curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/http:tomcat-service:/proxy/
 curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/http:php-apache:/proxy/

除此之外还有其他的API信息：

 curl 127.0.0.1:8080/apis/batch/v1

Kubernets Proxy API接口

Kubernetes Proxy主要用于代理REST请求。可以通过这种代理方式将API Server收到的REST请求转发到某个Node上的kubelet上，由Kubelet负责响应。

创建一个Proxy 接口：

  kubectl proxy --port=8001 --accept-hosts='.*' --address='10.0.0.1' &

此处创建一个监听本地10.0.0.1上的8001端口。

如果需要对访问的资源和源地址进行限制，可以使用正则进行匹配，限制对services进行访问：

 kubectl  proxy --port=8001  --accept-hosts='.*'  --address=10.0.0.1  --reject-paths='^/api/v1/services'

通过此端口可以在外部直接访问此api代理，在新的版本中，访问方式和常规访问的URL一致：

 curl  http://10.0.0.1:8001/api/v1/pods
 curl  http://10.0.0.1:8001/api/v1/nodes
 curl  http://10.0.0.1:8001/api/v1/services
 curl  http://10.0.0.1:8001/api/v1/replicationcontrollers
 curl  http://10.0.0.1:8001/api/v1/namespaces/default/pods/tomcat-deployment-65799d5fc4-5dx4h
 curl  http://10.0.0.1:8001/api/v1/namespaces/default/services/http:php-apache:/proxy/
 curl  10.0.0.1:8001/apis/batch/v1

API server和集群模块的交互

API Server作为集群的核心，负责集群各个功能模块之间的通信，集群中的各个功能模块通过 API Server将信息存入etcd数据库中，获取这些数据就通过 API Server 提供的REST接口通过使用GET,LIST,或者Watch方法，从而实现对各个模块之间的交互。

查看ETCD数据

ETCD V3操作说明

参考链接

在使用ETCD V3的版本时，由于为了实现兼容性，etcd默认使用的是 v2的接口，Kubernetes中需要使用V3的接口来查看数据，所以查看前添加此参数：

export ETCDCTL_API=3    # 修改默认接口版本为V3
export ETCDCTL_API=2    # 修改默认接口版本为V2

在V3和V2中，两者支持的命令是不一样的，如在V2 版本有 etcdctl ls 命令，但是在V3版本中就没有，指定接口版本后，对应的help 信息也会改变。

在使用默认的V2接口时，使用ls命令只能看到一个目录：

# 如果没有TLS进行CA设置直接执行：
# etcdctl ls
/kubernetes

# 如果设置了CA认证，使用如下参数，指定证书和秘钥文件：
# etcdctl  --endpoints=https://10.0.0.1:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem ls
/kubernetes

这个key中只存储了少量的信息：

[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.2:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem ls -r
/kubernetes
/kubernetes/network
/kubernetes/network/config
/kubernetes/network/subnets
/kubernetes/network/subnets/10.2.70.0-24
/kubernetes/network/subnets/10.2.67.0-24
/kubernetes/network/subnets/10.2.49.0-24
[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.2:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem get /kubernetes/network/subnets/10.2.49.0-24
{"PublicIP":"10.0.0.2","BackendType":"vxlan","BackendData":{"VtepMAC":"a6:16:81:8a:af:71"}}

切换为V3接口，获取etcd中的所有key:

export ETCDCTL_API=3
# 无ca认证：
[root@node-1 ~]# etcdctl get / --prefix --keys-only

# CA认证，参数和V2版本不一样
[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.1:2379  --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem get / --prefix --keys-only

通过查询对应的key,可以获取kubernete对象的元数据：

[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.1:2379  --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem get /registry/services/specs/default/php-apache -w=json|python -m json.tool

这里使用json格式化输出。可以发现所有的数据都存放在/registry/开头的key 中。

使用如下脚本，对key值进行转换，也能输出相同的key值列表：

#!/bin/bash
# Get kubernetes keys from etcd
export ETCDCTL_API=3

# not use ca TLS
# keys=`etcdctl get /registry --prefix -w json|python -m json.tool|grep key|cut -d ":" -f2|tr -d '"'|tr -d ","`

# USE TLS ca
keys=`etcdctl --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem  get /registry --prefix -w json|python -m json.tool|grep key|cut -d ":" -f2|tr -d '"'|tr -d ","`
for x in $keys;do
  echo $x|base64 -d|sort
done

key 的命名规则是按/registry，对象类型（复数），namespace，具体对象名称命名。

API Server与kubelet的交互

每个Node节点上的kubelet每隔一段时间就会向API Server 的REST接口发送自身的状态信息。
API Server收到这些信息后，会更新到etcd中。
此外，kubelet通过API Server的watch 接口监听Pod的实时变化信息，如果监听到新的Pod对象绑定到此节点，则创建此pod，同理，如果是pod被删除,修改则执行对应的操作。

kube-controller-manager与API Server交互

kube-controller-manager中的Node Controller模块通过API Server提供的Watch接口，实时监控Node的信息，并做相应处理。

kube-scheduler与API Server交互

Scheduler通过API Server的Watch接口监听到新建Pod副本的信息后，它会检索所有符合该Pod要求的Node列表，开始执行Pod调度逻辑。调度成功后将Pod绑定到目标节点上。

为了缓解各模块对API Server的访问压力，各功能模块都采用缓存机制来缓存数据，各功能模块定时从API Server获取指定的资源对象信息（LIST/WATCH方法），然后将信息保存到本地缓存，功能模块在某些情况下不直接访问API Server，而是通过访问缓存数据来间接访问API Server。