如何在 Kubernetes 集群中集成 Kata

Kubernetes 集群集成 Kata

安装 Kubernetes 集群

使用 Kubeadm 安装集群非常方便，可以参考在ubuntu中安装k8s集群。

也可以直接参考官方文档：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ 。

查看安装的 Kubernetes 版本

$ kubectl version

Client Version: version.Info{
    
    Major:"1", Minor:"17", GitVersion:"v1.17.9", GitCommit:"4fb7ed12476d57b8437ada90b4f93b17ffaeed99", GitTreeState:"clean", BuildDate:"2020-07-15T16:18:16Z", GoVersion:"go1.13.9", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{
    
    Major:"1", Minor:"17", GitVersion:"v1.17.9", GitCommit:"4fb7ed12476d57b8437ada90b4f93b17ffaeed99", GitTreeState:"clean", BuildDate:"2020-07-15T16:10:45Z", GoVersion:"go1.13.9", Compiler:"gc", Platform:"linux/amd64"}

安装 Kata 命令行工具

以 CentOS 操作系统为例：

$ source /etc/os-release
$ yum -y install yum-utils
$ ARCH=$(arch)
$ BRANCH="${BRANCH:-master}"
$ yum-config-manager --add-repo "http://download.opensuse.org/repositories/home:/katacontainers:/releases:/${ARCH}:/${BRANCH}/CentOS_${VERSION_ID}/home:katacontainers:releases:${ARCH}:${BRANCH}.repo"
$ yum -y install kata-runtime kata-proxy kata-shim

在Ubuntu中（参考官方文档）：

$ ARCH=$(arch)
$ BRANCH="${BRANCH:-master}"
$ sudo sh -c "echo 'deb http://download.opensuse.org/repositories/home:/katacontainers:/releases:/${ARCH}:/${BRANCH}/xUbuntu_$(lsb_release -rs)/ /' > /etc/apt/sources.list.d/kata-containers.list"
$ curl -sL  http://download.opensuse.org/repositories/home:/katacontainers:/releases:/${
    
    ARCH}:/${
    
    BRANCH}/xUbuntu_$(lsb_release -rs)/Release.key | sudo apt-key add -
$ sudo -E apt-get update
$ sudo -E apt-get -y install kata-runtime kata-proxy kata-shim

检测硬件是否支持 Kata

Kata 对硬件的要求需要满足以下任意条件：

Intel VT-x technology.
ARM Hyp mode (virtualization extension).
IBM Power Systems.
IBM Z mainframes.

安装完 kata-runtime 之后，执行检测命令：

$ kata-runtime kata-check

System is capable of running Kata Containers
System can currently create Kata Containers

这里的输出表示，运行环境支持 Kata Containers

配置并测试 Docker(官方文档)

配置 kata-runtime 参数

$ vim /etc/docker/daemon.json

新增如下内容，默认依然使用 runc，但是通过指定 runtime 参数可以使用 Kata 。

{
    
    
  "runtimes": {
    
    "kata-runtime": {
    
    
      "path": "/usr/bin/kata-runtime"}
  }}

重启 Docker 服务

$ systemctl daemon-reload
$ systemctl restart docker

测试 Kata 是否安装成功

$ docker run --runtime=kata-runtime  busybox uname -a

Linux 249a23f53475 5.4.60-65.1.container #1 SMP Thu Jan 1 00:00:00 UTC 1970 x86_64 GNU/Linux

$  docker run busybox uname -a

Linux b4812ed8990c 3.10.0-1127.el7.x86_64 #1 SMP Tue Mar 31 23:36:51 UTC 2020 x86_64 GNU/Linux

kata-runtime 容器使用的内核版本与宿主机不同，这就说明 kata-runtime 配置成功了。

配置 Kubelet

新增配置文件

$ mkdir -p  /etc/systemd/system/kubelet.service.d/
$ cat << EOF | sudo tee  /etc/systemd/system/kubelet.service.d/0-containerd.conf
[Service]                                                 
Environment="KUBELET_EXTRA_ARGS=--container-runtime=remote --runtime-request-timeout=15m --container-runtime-endpoint=unix:///run/containerd/containerd.sock"EOF

重启生效

$ systemctl daemon-reload
$ systemctl restart kubelet

这里使用的是 containerd 。如果使用 CRI-O ，配置会不一样。

给 Kubernetes 提供 kata-runtime

通过直接创建 Container 可以使用 kata-runtime 。但在集群中，我们该如何告诉 Kubernetes 哪些负载需要使用 kata-runtime 呢？根据不同的版本，Kata 提供了不同的方式。

首先都需要生成 containerd 配置文件

$ containerd config default > /etc/containerd/config.toml

RuntimeClass 的方式

这种方式对相关组件版本有要求：

Kata Containers v1.5.0 or above (including 1.5.0-rc)
Containerd v1.2.0 or above
Kubernetes v1.12.0 or above

在 config.toml 配置文件中，增加如下内容：

    [plugins.cri.containerd]
      no_pivot = false[plugins.cri.containerd.runtimes]
      [plugins.cri.containerd.runtimes.runc]
         runtime_type = "io.containerd.runc.v1"
         [plugins.cri.containerd.runtimes.runc.options]
           NoPivotRoot = false
           NoNewKeyring = false
           ShimCgroup = ""
           IoUid = 0
           IoGid = 0
           BinaryName = "runc"
           Root = ""
           CriuPath = ""
           SystemdCgroup = false
      [plugins.cri.containerd.runtimes.kata]
         runtime_type = "io.containerd.kata.v2"
      [plugins.cri.containerd.runtimes.katacli]
         runtime_type = "io.containerd.runc.v1"
         [plugins.cri.containerd.runtimes.katacli.options]
           NoPivotRoot = false
           NoNewKeyring = false
           ShimCgroup = ""
           IoUid = 0
           IoGid = 0
           BinaryName = "/usr/bin/kata-runtime"
           Root = ""
           CriuPath = ""
           SystemdCgroup = false

这里 [plugins.cri.containerd.runtimes.kata] 中的 kata 将被作为 RuntimeClass handler 关键字。

使用 untrusted_workload_runtime 的方式

对于不符合上述版本要求的环境，可以使用之前的方式。

在配置文件中新增如下内容：

    [plugins.cri.containerd.untrusted_workload_runtime]
      runtime_type = "io.containerd.runtime.v1.linux"
      runtime_engine = "/usr/bin/kata-runtime"

最后，都需要重启 containerd。

$ containerd systemctl daemon-reload
$ systemctl restart containerd

然后讲kubelet配置文件拷贝到用户目录下面

sudo mkdir -p /home/xrw/.kube && sudo cp /etc/kubernetes/admin.conf /home/xrw/.kube/config

使用 kata-runtime

RuntimeClass 方式

创建 RuntimeClass

kata-runtime.yaml

kind: RuntimeClass
apiVersion: node.k8s.io/v1beta1
metadata:
  name: kata-containers
handler: kata

也可以为 runc 创建 RuntimeClass

$ kubectl get runtimeclass

NAME              CREATED AT
kata-containers   2020-08-30

创建负载 kata-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: kata-nginx
spec:
  runtimeClassName: kata-containers
  containers:
  - name: nginx
    image: nginx
    ports:- containerPort: 80

$ kubectl apply -f kata-pod.yaml

查看负载是否是kata运行的

# 获取pod中的Container ID 
$  sudo kubectl decribe pod kata-nginx
# 查看容器的容器运行时是不是kata
$  sudo crictl inspect [Container ID]

untrusted_workload_runtime 使用 annotations 告诉 Kubernetes 集群哪些负载需要使用 kata-runtime。

annotations:
  io.kubernetes.cri.untrusted-workload: "true"
下面是一个示例 kata-pod-untrusted.yaml

apiVersion: v1
kind: Pod
metadata:
  name: kata-nginx-untrusted
  annotations:
    io.kubernetes.cri.untrusted-workload: "true"
spec:
  containers:
  - name: nginx
    image: nginx
    ports:- containerPort: 80

$ kubectl apply -f kata-pod-untrusted.yaml