Análise aprofundada nativa da nuvem da implantação do Ceph e teste funcional no K8S

I. Introdução

• É muito conveniente usar o Ceph como armazenamento compartilhado no k8s. O Ceph é um sistema de armazenamento distribuído antiquado, muito maduro e poderoso. Ele oferece suporte a três modos (armazenamento rápido, armazenamento do sistema de arquivos e armazenamento de objetos). use-o em k8s Que tal usar o ceph?
• Para a implantação do ambiente k8s, consulte: Cloud Native Análise detalhada do ambiente de alta disponibilidade Implantação do K8S 1.24 .
• Para a implantação do ambiente e operação real do Ceph, consulte: Análise aprofundada nativa da nuvem da implantação do ambiente e operação real do sistema de armazenamento distribuído Ceph .

2. Introdução ao Ceph Rook

• Rook é uma ferramenta de orquestração de armazenamento nativo em nuvem de código aberto que fornece uma plataforma, estrutura e suporte para várias soluções de armazenamento para integração nativa com ambientes nativos em nuvem. O Rook transforma o software de armazenamento em um serviço de armazenamento de autogerenciamento, autoescalonamento e autocorreção, automatizando a implantação, inicialização, configuração, provisionamento, dimensionamento, atualizações, migrações, recuperação de desastres, monitoramento e gerenciamento de recursos. A camada subjacente do Rook usa os recursos fornecidos pelas plataformas de gerenciamento, agendamento e orquestração de contêineres nativos da nuvem para fornecer esses recursos.
• O Rook usa funções estendidas para integrá-lo profundamente ao ambiente nativo da nuvem e fornece uma experiência perfeita para agendamento, gerenciamento do ciclo de vida, gerenciamento de recursos, segurança, monitoramento etc. O Rook atualmente suporta Ceph, NFS, Minio Object Store e CockroachDB .

• Site oficial da Torre ;
• Endereço do Git da torre .

3. Implante Ceph em k8s por meio de Rook

① Baixe o pacote de implantação

• O comando é o seguinte:

git clone --single-branch --branch v1.10.8 https://github.com/rook/rook.git

• As imagens usadas para implantação são as seguintes:

• Como a fonte da imagem está no exterior, ela não pode ser baixada na China. Aqui você precisa modificar algumas imagens ou baixar tags com antecedência. A operação é a seguinte:

cd rook/deploy/examples/

#(registry.aliyuncs.com/google_containers/<image>:<tag>)，后四个镜像我FQ下
docker pull registry.aliyuncs.com/google_containers/csi-node-driver-registrar:v2.5.1

docker tag registry.aliyuncs.com/google_containers/csi-node-driver-registrar:v2.5.1 registry.k8s.io/sig-storage/csi-node-driver-registrar:v2.5.1

docker pull registry.aliyuncs.com/google_containers/csi-snapshotter:v6.1.0
docker tag registry.aliyuncs.com/google_containers/csi-snapshotter:v6.1.0 registry.k8s.io/sig-storage/csi-snapshotter:v6.1.0

docker pull registry.aliyuncs.com/google_containers/csi-attacher:v4.0.0
docker tag registry.aliyuncs.com/google_containers/csi-attacher:v4.0.0 registry.k8s.io/sig-storage/csi-attacher:v4.0.0

docker pull registry.aliyuncs.com/google_containers/csi-resizer:v1.6.0
docker tag registry.aliyuncs.com/google_containers/csi-resizer:v1.6.0 registry.k8s.io/sig-storage/csi-resizer:v1.6.0

docker pull registry.aliyuncs.com/google_containers/csi-resizer:v1.6.0
docker tag registry.aliyuncs.com/google_containers/csi-resizer:v1.6.0 registry.k8s.io/sig-storage/csi-resizer:v1.6.0

docker pull registry.aliyuncs.com/google_containers/csi-provisioner:v3.3.0
docker tag registry.aliyuncs.com/google_containers/csi-provisioner:v3.3.0 registry.k8s.io/sig-storage/csi-provisioner:v3.3.0

② Implantar Operador de Torre

cd rook/deploy/examples
kubectl create -f crds.yaml -f common.yaml -f operator.yaml
# 检查
kubectl -n rook-ceph get pod

• Também pode ser implantado através do leme:

helm repo add rook-release https://charts.rook.io/release
helm install --create-namespace --namespace rook-ceph rook-ceph rook-release/rook-ceph -f values.yaml

③ Crie um cluster Rook Ceph

• Agora que o Rook Operator está no estado Running, você pode criar um cluster Ceph. Para que o cluster não seja afetado após a reinicialização, verifique se o valor do atributo dataDirHostPath definido é um caminho de host válido:

cd rook/deploy/examples
kubectl apply -f cluster.yaml

④ Implante a ferramenta Rook Ceph

cd rook/deploy/examples
kubectl create -f toolbox.yaml

⑤ Implantar Ceph Dashboard

cd rook/deploy/examples
kubectl apply -f dashboard-external-https.yaml

# 获取 dashboard admin密码
kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 -d

• Visualize o status do cluster do Ceph por meio do Ceph Dashboard:

# 查看对外端口
kubectl get svc -n rook-ceph

⑥ verificar

kubectl get pods,svc -n rook-ceph

⑦ Visualize o status do cluster ceph por meio do pod de ferramentas ceph-tool

kubectl exec -it `kubectl get pods -n rook-ceph|grep rook-ceph-tools|awk '{
    
    print $1}'` -n rook-ceph -- bash

ceph -s

4. Verificação do teste

① Teste de armazenamento em bloco (RBD)

• Criar classe de armazenamento:

cd rook/deploy/examples
# 创建一个名为replicapool的rbd pool
kubectl apply -f csi/rbd/storageclass.yaml

• Implantar WordPress:

kubectl apply -f mysql.yaml
kubectl apply -f wordpress.yaml

② Teste do sistema de arquivos (CephFS)

• Criar classe de armazenamento:

kubectl apply -f csi/cephfs/storageclass.yaml

• Implante o aplicativo:

kubectl apply -f filesystem.yaml

③ Teste de armazenamento de objetos (RGW)

• Crie um armazenamento de objeto:

kubectl create -f object.yaml

# 验证rgw pod正常运行
kubectl -n rook-ceph get pod -l app=rook-ceph-rgw

• Crie um usuário de armazenamento de objetos:

kubectl create -f object-user.yaml

• Obtenha a chave secreta da chave de acesso:

# 获取AccessKey
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o yaml | grep AccessKey | awk '{
    
    print $2}' | base64 --decode

# 获取 SecretKey
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o yaml | grep SecretKey | awk '{
    
    print $2}' | base64 --decode

• Implante o rgw nodeport:

kubectl apply -f rgw-external.yaml

kubectl -n rook-ceph get service rook-ceph-rgw-my-store rook-ceph-rgw-my-store-external

• Use o armazenamento de objetos Ceph por meio da interface API:

#首先，需要安装 python-boto 包，用于测试连接 S3
yum install python-boto -y

# 然后，编写 python 测试脚本
# cat s3.py
#!/usr/bin/python

import boto
import boto.s3.connection
access_key = 'C7492VVSL8O11NZBK3GT'
secret_key = 'lo8IIwMfmow4fjkSOMbjebmgjzTRBQSO7w83SvBd'
conn = boto.connect_s3(
    aws_access_key_id = access_key,
    aws_secret_access_key = secret_key,
    host = '192.168.182.110', port=30369,
    is_secure=False,
    calling_format = boto.s3.connection.OrdinaryCallingFormat(),
)
bucket = conn.create_bucket('my-first-s3-bucket')
for bucket in conn.get_all_buckets():
        print "{name}\t{created}".format(
                name = bucket.name,
                created = bucket.creation_date,
)