前言

之前写过一篇《基于K8s的动态Jenkins Slave构建实践》，当时用的k8s版本较低，最近将k8s版本升级1.10最新的了，并且启用了https和角色管理。突然就发现之前的jenkins配置有点问题了。
这篇主要就是来记录一下新的配置。

环境

Jenkins 2.107.2
Kubernetes plugin 1.6
kubernetes集群 1.10.0

k8s集群信息

root@e5:/data# kubectl cluster-info 
Kubernetes master is running at https://192.168.1.2:6443
kubernetes-dashboard is running at https://192.168.1.2:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy
monitoring-grafana is running at https://192.168.1.2:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy

根据以上的配置，可以看到，已经是启用https了，这里就涉及到了密钥的问题。

Jenkins配置

jenkins

这里有以下几个关键的配置：

Kubernetes URL：这个就是我们上面集群信息看到的kubernetes master is running at 地址；
Kubernetes server certificate key：这是需要https证书，可以在我们集群任意节点找到该文件/etc/kubernetes/ssl/ca.pem 或/etc/kubernetes/pki/ca.pem，这个看自己的安装部署配置吧；
Credentials：这个是k8s集群的角色权限配置，这个就比较麻烦点了，下面再细说。

k8s角色权限配置

上面说到了Credentials这个配置，如果我们不配置的话，默认连接就会报以下错误，提示没有权限：
k8s_role

安装证书工具

这个应该是在部署安装集群的时候就有的，这里再多啰嗦2句：

安装cfssl
此工具生成证书非常方便, pem证书与crt证书,编码一致可直接使用

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

创建admin证书

准备证书签名请求

admin-csr.json

{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "HangZhou",
      "L": "XS",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}

证书请求中的O 指定该证书的 Group 为 system:masters，而 RBAC 预定义的 ClusterRoleBinding 将 Group system:masters 与 ClusterRole cluster-admin 绑定，这就赋予了该证书具有所有集群权限 。

创建证书和私钥

cfssl gencert \ -ca=/etc/kubernetes/ssl/ca.pem \ -ca-key=/etc/kubernetes/ssl/ca-key.pem \ -config=/etc/kubernetes/ssl/ca-config.json \ --profile=kubernetes admin-csr.json | cfssljson -bare admin
最终生成以下3个文件：

admin.csr
admin-key.pem
admin.pem

配置证书

生成pkc格式证书

我们可以通过openssl来转换成pkc格式：
openssl pkcs12 -export -out ./jenkins-admin.pfx -inkey ./admin-key.pem -in ./admin.pem -passout pass:secret

配置jenkins认证

得到jenkins.pfk文件后，点击Jenkins配置Credentials后面的Add，配置如下：
jenkins_pfk
其中Kind种类需要选择Certificate，然后选择上传文件，上传我们刚刚生成的pfk文件，再下面密码就是我们上面指定的secret，最后ID和描述可以随便填下，就OK啦。

测试

之后在Jenkins的kubernetes配置那边选择我们刚刚创建的Credentials，点击Test Connection即可。
出现以下字符就表示测试连接通过啦
conn_test

再测试下动态Slave：
dynamic_slave
如图，就表示已经OK了。

参考链接：
https://github.com/jenkinsci/kubernetes-plugin
https://segmentfault.com/a/1190000012151075
https://github.com/gjmzj/kubeasz/blob/master/docs/01-%E5%88%9B%E5%BB%BACA%E8%AF%81%E4%B9%A6%E5%92%8C%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE.md

Jenkins基于https的k8s配置

前言

环境