k8s(kubeadm) + Harbor + jenkins + git
实验环境：k8s单节点部署、Harbor、jenkins部署在k8s外部
CICD流程：
1、从github中拉取代码
2、jenkins进行打包、构建docker镜像
3、将镜像push到镜像仓库Harbor中
4、提前编写yaml资源清单
5、jenkins利用kubectl工具对资源进行更新
一、部署
1、Harbor镜像仓库部署
# 下载在线安装包
wget https://storage.googleapis.com/harbor-releases/release-1.8.0/harbor-online-installer-v1.8.1.tgz
# 解压安装包
tar zxvf harbor-online-installer-v1.8.1.tgz -C /usr/src/
cd /usr/src/harbor
# 修改配置文件
vim harbor.yml
# 修改本机地址
hostname: 10.0.1.84
# 查看配置文件其他参数，将配置文件改成如下示例
cat harbor.yml |grep -v "^#"|grep -v " #"|grep -v "^$"
hostname: 10.0.1.84
http:
port: 18000
harbor_admin_password: Harbor12345
database:
password: root123
data_volume: /data
clair:
updaters_interval: 12
http_proxy:
https_proxy:
no_proxy: 127.0.0.1,localhost,core,registry
jobservice:
max_job_workers: 10
chart:
absolute_url: disabled
log:
level: info
rotate_count: 50
rotate_size: 200M
location: /var/log/harbor
_version: 1.8.0
# 执行
./install.sh
# 出现提示，安装成功
✔ ----Harbor has been installed and started successfully.----
# 默认账户
admin Harbor12345
# 基本使用
docker pull nginx:latest # 拉取镜像
docker tag nginx:latest 10.0.1.84/library/nginx # 给镜像打tag
docker push 10.0.1.84/library/nginx # 推送镜像
docker pull 10.0.1.84:18000/library/nginx:latest # 从Harbor镜像仓库拉取镜像2、docker部署jenkins
# 需提前部署docker、docker-compose
# docker启动jenkins
docker run \
-u root \
-d \
-p 8080:8080 \
-p 50000:50000 \
-v /data/docker/jenkins_home:/var/jenkins_home \
-v /var/run/docker.sock:/var/run/docker.sock \
-v "$HOME":/home \
jenkinsci/blueocean
# 初始密码位置
/data/docker/jenkins_home/secrets/initialAdminPassword3、kubeadm部署k8s
环境：10.0.1.84:master
10.0.1.83:node
两个节点需要提前安装docker
master和node节点：
1、修改主机名（可不做）
hostnamectl set-hostname kube-master
hostnamectl set-hostname kube-node
2、关闭防火墙、关闭交换分区
swapoff -a （临时）
或
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
3、部署kubernetes
# curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
# cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://apt.kubernetes.io/ kubernetes-xenial main
EOF
# apt-get update
# apt-get install -y kubectl kubeadm kubectl
master节点：
4、初始化master节点（网络插件下面对应）
如果使用 calico 作为网络插件，要给 kubeadm init 带上 --pod-network-cidr=192.168.0.0/16
如果使用 flannel 作为网络插件，要给 kubeadm init 带上 --pod-network-cidr=10.244.0.0/16
# kubeadm init
......
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 10.0.1.84:6443 --token 93wgb0.cktng34w2sif8vqc \
--discovery-token-ca-cert-hash sha256:9438180169b6369417e465526d07beaceb3d480a38ad9c5680f3ebfe7f30879f
# 根据提示执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 记录下来，用来node节点加入集群使用
kubeadm join 10.0.1.84:6443 --token 93wgb0.cktng34w2sif8vqc \
--discovery-token-ca-cert-hash sha256:9438180169b6369417e465526d07beaceb3d480a38ad9c5680f3ebfe7f30879f
注意：此时查看master节点状态（kubectl get nodes）会发现STATUS是NotReady，因为还没有安装网络插件
5、网络插件
# Weave Net
kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
# Flannel（可选）
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# Calico（可选）
kubectl apply -f https://docs.projectcalico.org/v2.0/getting-started/kubernetes/installation/hosted/kubeadm/calico.yaml
# 查看pod状态
kubectl get pods -n kube-system （STATUS都Running）
# 此时在查看master节点状态（kubectl get nodes）STATUS变成了Ready
node节点：
# 加入k8s集群 （如果报错，去掉\，将命令变成一行）
kubeadm join 10.211.55.86:6443 --token 96we7u.s9fzr0hes09nzh31 \
--discovery-token-ca-cert-hash sha256:92bd946186fdfec3080d7570bca4bad6183f8cb19782784d2c855649e2832107
# master节点：
# 查看集群状态
NAME STATUS ROLES AGE VERSION
kube-master Ready control-plane,master 4d22h v1.23.1
kube-node Ready <none> 4d22h v1.23.1
注意：kubectl命令只能在master上执行，如果想在其他node执行
复制master节点下的 ~/.kube/config 到其他node节点
二、jenkins连接k8s
1、安装插件
kubernetes plugin（如果没有，安装kubernetes插件）
Git Parameter
2、配置kubernetes plugin插件
系统管理——>节点管理——>Configure Clouds——>Add a new cloud
# Kubernetes 地址:一般都是master地址+6443
# Kubernetes 证书：
cat ~/.kube/config
创建 ca.crt、cli.crt、cli.key
# ca.crt
echo xxxx（复制上图密钥） | base64 -d > ca.crt
# cli.crt
echo xxxx | base64 -d > cli.crt
# cli.key
echo xxxx > | base64 -d > cli.key
# 合并
openssl pkcs12 -export -out cert.pfx -inkey cli.key -in cli.crt -certfile ca.crt
Enter Export Password: <<<------输入密码 注意：密码要记住，创建jenkins凭证有用
Verifying - Enter Export Password: <<<------输入密码
# 创建出来的 cert.pfx 留着创建凭据# 将ca.crt里面的内容复制到 Kubernetes 服务证书 key 中
# 提前创建命名空间namespaces，以kube-ops为例
# 创建凭据，如下图
添加——>jenkins
# 将 cert.pfx 上传
# 密码输入之前设置的密码
# 凭据创建成功后，进行连接性测试，出现 Connected to Kubernetes v1.23.1 代表成功
# 下方的Jenkins 地址，填写安装的地址三、测试
1、创建流水线项目，进入配置，构建分支等等（看具体需要） 
2、配置jenkins-harbor-creds、jenkins-k8s-config参数
系统管理——>管理凭据——>添加全局凭据
配置jenkins-harbor-creds
harbor的用户密码，ID"jenkins-harbor-creds" 必须和jenkinsfile保持一致
配置jenkins-k8s-config
cp ~/.kube/config /tmp/kube-config.yml
base64 kube-config.yml > kube-config.txt
cat kube-config.txt 将里面的内容复制出来，写到Secret里面，ID"jenkins-k8s-config" 必须和jenkinsfile保持一致
3、创建流水线，选择Pipeline script
// 需要在jenkins的Credentials设置中配置jenkins-harbor-creds、jenkins-k8s-config参数
pipeline {
agent any
environment {
url = "github代码仓库位置" //8000 8001
credentialsId = "github代码凭证"
HARBOR_CREDS = credentials('jenkins-harbor-creds')
K8S_CONFIG = credentials('jenkins-k8s-config')
GIT_TAG = sh(returnStdout: true,script: 'git describe --tags --always').trim()
}
parameters {
gitParameter(name: 'BRANCH', type: 'PT_BRANCH', defaultValue: 'main')
string(name: 'HARBOR_HOST', defaultValue: '10.0.1.84:18000', description: 'harbor仓库地址')
string(name: 'K8S_NAMESPACE', defaultValue: 'kube-ops', description: 'k8s的namespace名称')
}
stages {
stage('Checkout') {
steps {
checkout([$class: 'GitSCM',
branches: [[name: "${params.BRANCH}"]],
doGenerateSubmoduleConfigurations: false,
extensions: [],
gitTool: 'Default',
submoduleCfg: [],
userRemoteConfigs: [[url: "${url}",credentialsId: "${credentialsId}"]]
])
}
}
stage('Docker Build') {
agent any
steps {
sh "docker login 10.0.1.84:18000 --username admin --password 123456"
sh "sh debug.sh"
sh "docker build -t ew -f Dockerfile ."
sh "docker tag ew:latest 10.0.1.84:18000/jenkins/ew"
sh "docker push 10.0.1.84:18000/jenkins/ew"
sh "docker rmi 10.0.1.84:18000/jenkins/ew"
}
}
stage('Deploy') {
when {
allOf {
expression { env.GIT_TAG != null }
}
}
agent {
docker {
image 'lwolf/helm-kubectl-docker'
}
}
steps {
sh "rm -rf ~/.kube && mkdir ~/.kube"
sh "echo ${K8S_CONFIG} | base64 -d > ~/.kube/config"
sh "kubectl apply -f deployment.yaml -n $K8S_NAMESPACE" # 根据业务提前编写deployment.yaml
}
}
}
}4、根据业务编写yaml资源清单
apiVersion: apps/v1 #指定api版本标签
kind: Deployment #定义资源的类型/角色，deployment为控制器
metadata: #定义资源的元数据信息
name: ew-test #定义资源的名称，在同一个namespace空间中必须是唯一的
namespaces: kube-ops
labels: #定义资源标签
app: ew
spec:
replicas: 1 #定义副本数量
selector: #定义选择器
matchLabels: #匹配上面的标签
app: ew #匹配模板名称
template: #定义模板
metadata:
labels:
app: ew
spec:
containers: #定义容器信息
- name: ew-test
image: 10.0.1.84:18000/jenkins/ew
imagePullPolicy: IfNotPresent #容器使用的镜像以及版本
ports:
- name: httpport
containerPort: 8000
- name: wsport
containerPort: 8001 #定义容器的对外端口
---
apiVersion: v1
kind: Service
metadata:
name: ew-service
labels:
app: ew
spec:
type: NodePort
ports:
- name: httpport
port: 8086
targetPort: 8000
nodePort: 32301
- name: wsport
port: 8087
targetPort: 8001
nodePort: 32302
selector:
app: ewservice port问题
# 端口问题：
targetPort：pod端口
port：service端口
nodePort：节点端口
port映射到targetPort
访问：10.0.1.83:32301
集群内访问：虚拟ip:service port
5、build测试
登录Harbor仓库查看
可以看到镜像成功被push到仓库中
kubernetes查看
# kubectl get pods --all-namespaces -owide
可以看到在node节点创建了该pod
# kubectl get svc --all-namespaces -owide
service也创建出来了
# kubectl get deployment --all-namespaces -owide
可以看到镜像是从Harbor仓库中拉取下来的
网页测试访问
10.0.1.84:32301
10.0.1.84:32302
四、kubectl基础命令
# 查看所有命名空间
kubectl get namespaces
# 创建命名空间
kubectl create namespaces xxx
# 查看命名空间下的pod
kubectl get pods -n xxx
# 查看所有pod信息（创建在那个节点、节点ip等）
kubectl get pods --all-namespaces -owide
# 查看deployment资源
kubectl get deployment --all-namespaces -owide
# 查看service信息
kubectl get svc --all-namespaces -owide
# 查看describe详细信息
kubectl describe pod pod名字 -n namespace
# 利用资源清单创建/删除pod
kubectl apply -f xxx.yaml
kubectl delete -f xxx.yaml
# 删除pod
kubectl delete pod pod名字 -n namespace
# 进入pod
kubectl exec -it pod名字 -n namespace -- /bin/bash （bash不行就用sh）五、问题总结
Harbor相关问题：
1、docker login 连接不上Harbor
报错信息；
Error response from daemon: Get https://10.0.1.84:18000/v2/:
dial tcp 10.0.1.84:18000: connect: connection refused问题原因：不支持https
解决：
# vim /etc/docker/daemon.json
{
"insecure-registries": ["10.0.1.84:18000"]
}
# systemctl daemon-reload
# systemctl restart dockerpod创建在其他节点，需要用到Harbor都要有daemon.json
k8s相关问题：
1、init初始化不成功
报错信息：
failed to create kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd"
问题原因：kubelet和docker驱动不一致
解决：
驱动有两种：systemd和cgroupfs
# 查看docker驱动
docker info
查看Cgroup Driver: 类型 （我的是cgroupfs）
# 修改成systemd
{
"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}systemctl daemon-reload
systemctl restart docker