まず、Ceph で Pool リソースプールを定義する必要があります。プールは、Ceph に Object オブジェクトを保存するための抽象的な概念です。Ceph ストレージ上の論理パーティションとして理解できます。プールは複数の PG で構成されます。PG は CRUSH アルゴリズムを通じて異なる OSD にマッピングされます。同時に、プールはレプリカサイズを設定でき、デフォルトのレプリカ数は 3 です。。

Ceph クライアントはモニターからクラスターのステータスを要求し、プールにデータを書き込み、PG の数に応じて、データは CRUSH アルゴリズムを通じて異なる OSD ノードにマッピングされ、データストレージを実現します。ここで、プールをオブジェクトデータを保存するための論理単位として理解できます。もちろん、現在のクラスターにはリソースプールがないため、リソースプールを定義する必要があります。

1. プールリソースプールの作成

#名字为 mypool，PGs 数量设置为 64，设置 PGs 的同时还需要设置 PGP（通常PGs和PGP的值是相同的）：
#PG (Placement Group)，pg 是一个虚拟的概念，用于存放 object，PG数参考官方文档说明：Ceph PGs per Pool Calculator
#PGP(Placement Group for Placement purpose)，相当于是 pg 存放的一种 osd 排列组合

cd /etc/ceph
ceph osd pool create mypool 64 64

2. クラスタープール情報の表示

ceph osd pool ls    或    rados lspools
ceph osd lspools

3. リソースプールのコピー数を確認する

ceph osd pool get mypool size

4.PGとPGPの数を確認する

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

5. pg_num と pgp_num の数を 128 に変更します。

ceph osd pool set mypool pg_num 128
ceph osd pool set mypool pgp_num 128

ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num

6. プールのコピー数を 2 に変更します。

ceph osd pool set mypool size 2

ceph osd pool get mypool size

7. デフォルトのコピー数を 2 に変更します。

vim ceph.conf
......
osd_pool_default_size = 2

ceph-deploy --overwrite-conf config push node01 node02 node03
#在所有节点重启ceph服务
systemctl restart ceph-mon.target

8. Poolリソースプールを削除します

8.1 設定ファイルの変更

删除存储池命令存在数据丢失的风险，Ceph 默认禁止此类操作，需要管理员先在 ceph.conf 
配置文件中开启支持删除存储池的操作

vim ceph.conf
......
[mon]
mon allow pool delete = true

8.2 ceph.conf 設定ファイルをすべての mon ノードにプッシュする

ceph-deploy --overwrite-conf config push node01 node02 node03

8.3 すべての mon ノードが ceph-mon サービスを再起動します

systemctl restart ceph-mon.target

8.4 プール削除コマンドの実行

ceph osd pool rm mypool mypool --yes-i-really-really-mean-it

2. CephFS ファイルシステムの MDS インターフェースを作成する

1. サーバーの運用

1.1 管理ノード上に mds サービスを作成する

cd /etc/ceph
ceph-deploy mds create node01 node02 node03

1.2 各ノードの mds サービスを表示する

ssh root@node01 systemctl status ceph-mds@node01
ssh root@node02 systemctl status ceph-mds@node02
ssh root@node03 systemctl status ceph-mds@node03

1.3 ストレージプールを作成し、ceph ファイルシステムを有効にする

ceph 文件系统至少需要两个 rados 池，一个用于存储数据，一个用于存储元数据。此时数据池就类似于文件系统的共享目录。
ceph osd pool create cephfs_data 128					#创建数据Pool

ceph osd pool create cephfs_metadata 128				#创建元数据Pool

#创建 cephfs，命令格式：ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>
ceph fs new mycephfs cephfs_metadata cephfs_data		#启用ceph，元数据Pool在前，数据Pool在后

ceph fs ls					#查看cephfs

1.4 MDS ステータスの確認

ceph -s
mds: mycephfs:1 {0=node01=up:active} 2 up:standby

ceph mds stat
mycephfs:1 {0=node01=up:active} 2 up:standby

1.5 ユーザーの作成

语法格式：ceph fs authorize  <fs_name>  client.<client_id>  <path-in-cephfs>  rw

#账户为 client.zhangsan，用户 name 为 zhangsan，zhangsan 对ceph文件系统的 / 根目录（注意不是操作系统的根目录）有读写权限
ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring

# 账户为 client.lisi，用户 name 为 lisi，lisi 对文件系统的 / 根目录只有读权限，对文件系统的根目录的子目录 /test 有读写权限
ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring

2. クライアント操作 (クライアントはパブリックネットワーク上にある必要があります)

2.1 クライアント上に作業ディレクトリを作成する

mkdir /etc/ceph

2.2 ceph 構成ファイル ceph.conf とアカウントのキーリングファイルを ceph 管理ノード上のクライアントにコピーします。

scp ceph.conf zhangsan.keyring lisi.keyring root@client:/etc/ceph

2.3 クライアントに ceph ソフトウェアパッケージをインストールする

cd /opt
wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
rpm -ivh ceph-release-1-1.el7.noarch.rpm
yum install -y ceph

2.4 クライアント上で秘密鍵ファイルを作成する

cd /etc/ceph
#把 zhangsan 用户的秘钥导出到 zhangsan.key
ceph-authtool -n client.zhangsan -p zhangsan.keyring > zhangsan.key			
ceph-authtool -n client.lisi -p lisi.keyring > lisi.key

2.5 クライアントのマウント

2.5.1 方法 1: カーネルベース

语法格式：
mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secret=<秘钥>
mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secretfile=<秘钥文件>

示例一：
mkdir -p /data/zhangsan
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/zhangsan -o name=zhangsan,secretfile=/etc/ceph/zhangsan.key

示例二：
mkdir -p /data/lisi
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/lisi -o name=lisi,secretfile=/etc/ceph/lisi.key


示例三：
#停掉 node02 上的 mds 服务
ssh root@node02 "systemctl stop ceph-mds@node02"
ceph -s
#测试客户端的挂载点仍然是可以用的，如果停掉所有的 mds，客户端就不能用了

2.5.2 方法 2: ヒューズツールに基づく

1）在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 zhangsan.keyring、lisi.keyring
scp ceph.client.admin.keyring root@client:/etc/ceph

2）在客户端安装 ceph-fuse
yum install -y ceph-fuse

3）客户端挂载
cd /data/aa
ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa [-o nonempty]

3. Ceph ブロックストレージシステム RBD インターフェイスの作成

1. RBD 専用に rbd-demo という名前のストレージプールを作成します。

ceph osd pool create rbd-demo 64 64

2. ストレージプールをRBDモードに変換します。

ceph osd pool application enable rbd-demo rbd

3. ストレージプールの初期化

rbd pool init -p rbd-demo			# -p 等同于 --pool

4. 鏡像を作成する

rbd create -p rbd-demo --image rbd-demo1.img --size 10G

可简写为：
rbd create rbd-demo/rbd-demo1.img --size 10G

5. ミラー管理

5.1 ストレージプールにどのミラーが存在するかを確認する

rbd ls -l -p rbd-demo

5.2 画像の詳細を表示する

rbd info -p rbd-demo --image rbd-demo1.img

5.3 画像サイズを変更する

rbd resize -p rbd-demo --image rbd-demo1.img --size 20G
#查看镜像
rbd info -p rbd-demo --image rbd-demo1.img

#使用 resize 调整镜像大小，一般建议只增不减，如果是减少的话需要加选项 --allow-shrink
rbd resize -p rbd-demo --image rbd-demo1.img --size 5G --allow-shrink

5.4 画像の削除

#直接删除镜像
rbd rm -p rbd-demo --image rbd-demo2.img
rbd remove rbd-demo/rbd-demo2.img

#推荐使用 trash 命令，这个命令删除是将镜像移动至回收站，如果想找回还可以恢复
rbd trash move rbd-demo/rbd-demo1.img

rbd ls -l -p rbd-demo

rbd trash list -p rbd-demo

#还原镜像
rbd trash restore rbd-demo/5fc98fe1f304

rbd ls -l -p rbd-demo

6. Linuxクライアントの使用

クライアントが RBD を使用するには 2 つの方法があります。

イメージは、カーネルモジュール KRBD を通じてシステムのローカルブロックデバイスにマッピングされます。通常の設定ファイルは /dev/rbd* です。
もう 1 つは librbd インターフェイスを介したもので、通常は KVM 仮想マシンによって使用されます。

この例では、主に Linux クライアントを使用して、ローカルディスクで使用するために RBD イメージをマウントします。開始する前に、必要なクライアントノードに ceph-common パッケージをインストールする必要があります。これは、クライアントが rbd コマンドを呼び出して、RBD イメージを共通ハードディスクとしてローカルにマップする必要があるためです。また、ceph.conf 設定ファイルと認証キーリングファイルを対応するノードにコピーする必要があります。

6.1 指定された RBD ストレージプールにアクセスするためのユーザーを管理ノード上で作成および認可する

#示例，指定用户标识为client.osd-mount，对另对OSD有所有的权限，对Mon有只读的权限
ceph auth get-or-create client.osd-mount osd "allow * pool=rbd-demo" mon "allow r" > /etc/ceph/ceph.client.osd-mount.keyring

6.2 RBD ミラーリング機能を変更する CentOS7 はデフォルトでレイヤー化とストライピング機能のみをサポートします。他の機能はオフにする必要があります。

rbd feature disable rbd-demo/rbd-demo1.img object-map,fast-diff,deep-flatten

6.3 ユーザーのキーリングファイルと ceph.conf ファイルをクライアントの /etc/ceph ディレクトリに送信します

cd /etc/ceph
scp ceph.client.osd-mount.keyring ceph.conf root@client:/etc/ceph

6.4 Linuxクライアントの動作

#安装 ceph-common 软件包
yum install -y ceph-common

#执行客户端映射
cd /etc/ceph
rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount

#查看映射
rbd showmapped
rbd device list

#断开映射
rbd unmap rbd-demo/rbd-demo1.img

#格式化并挂载
mkfs.xfs /dev/rbd0

mkdir -p /data/bb
mount /dev/rbd0 /data/bb

#在线扩容
在管理节点调整镜像的大小
rbd resize rbd-demo/rbd-demo1.img --size 30G

在客户端刷新设备文件
xfs_growfs /dev/rbd0		#刷新xfs文件系统容量
resize2fs /dev/rbd0			#刷新ext4类型文件系统容量

7. スナップショット管理

rbd イメージのスナップショットを作成すると、イメージの状態履歴を保存できるほか、スナップショットレイヤ化テクノロジを使用して、スナップショットのクローンを新しいイメージに作成することもできます。

7.1 クライアントでのファイルの書き込み

echo 1111 > /data/bb/11.txt
echo 2222 > /data/bb/22.txt
echo 3333 > /data/bb/33.txt

7.2 管理ノード上でイメージのスナップショットを作成する

rbd snap create --pool rbd-demo --image rbd-demo1.img --snap demo1_snap1

可简写为：
rbd snap create rbd-demo/rbd-demo1.img@demo1_snap1

7.3 指定したイメージのすべてのスナップショットを一覧表示する

rbd snap list rbd-demo/rbd-demo1.img

#用json格式输出:
rbd snap list rbd-demo/rbd-demo1.img --format json --pretty-format

7.4 イメージを指定した場所にロールバックする

在回滚快照之前，需要将镜像取消镜像的映射，然后再回滚。

#在客户端操作
rm -rf /data/bb/*
umount /data/bb
rbd unmap rbd-demo/rbd-demo1.img

#在管理节点操作
rbd snap rollback rbd-demo/rbd-demo1.img@demo1_snap1

#在客户端重新映射并挂载
rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount
mount /dev/rbd0 /data/bb
ls /data/bb				#发现数据还原回来了

7.5 ミラーによって作成できるスナップショットの数を制限する

rbd snap limit set rbd-demo/rbd-demo1.img --limit 3

#解除限制：
rbd snap limit clear rbd-demo/rbd-demo1.img

7.6 スナップショットの削除

#删除指定快照：
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap1

#删除所有快照：
rbd snap purge rbd-demo/rbd-demo1.img

7.7 スナップショットの階層化

スナップショット階層化は、スナップショットクローンを使用して新しいイメージを生成することをサポートします。これは、直接作成されたイメージとほぼ同じであり、イメージのすべての操作をサポートします。唯一の違いは、クローンイメージが読み取り専用のアップストリームスナップショットを参照しており、このスナップショットを保護する必要があることです。

#快照克隆
1）将上游快照设置为保护模式：
rbd snap create rbd-demo/rbd-demo1.img@demo1_snap666

rbd snap protect rbd-demo/rbd-demo1.img@demo1_snap666

2）克隆快照为新的镜像
rbd clone rbd-demo/rbd-demo1.img@demo1_snap666 --dest rbd-demo/rbd-demo666.img

rbd ls -p rbd-demo

3）命令查看克隆完成后快照的子镜像
rbd children rbd-demo/rbd-demo1.img@demo1_snap666

7.8 スナップショットの平坦化

通常情况下通过快照克隆而得到的镜像会保留对父快照的引用，这时候不可以删除该父快照，否则会有影响。
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap666
#报错 snapshot 'demo1_snap666' is protected from removal.

如果要删除快照但想保留其子镜像，必须先展平其子镜像，展平的时间取决于镜像的大小
1） 展平子镜像
rbd flatten rbd-demo/rbd-demo666.img

2）取消快照保护
rbd snap unprotect rbd-demo/rbd-demo1.img@demo1_snap666

3）删除快照
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap666

rbd ls -l -p rbd-demo			#在删除掉快照后，查看子镜像依然存在

8. 画像のエクスポートとインポート

8.1 画像のエクスポート

rbd export rbd-demo/rbd-demo1.img  /opt/rbd-demo1.img

8.2 画像のインポート

#卸载客户端挂载，并取消映射
umount /data/bb
rbd unmap rbd-demo/rbd-demo1.img

#清除镜像下的所有快照，并删除镜像
rbd snap purge rbd-demo/rbd-demo1.img
rbd rm rbd-demo/rbd-demo1.img

rbd ls -l -p rbd-demo

8.3 画像のインポート

rbd import /opt/rbd-demo1.img  rbd-demo/rbd-demo1.img

rbd ls -l -p rbd-demo

4. Ceph オブジェクトストレージシステムの RGW インターフェイスを作成します

1. オブジェクトストレージの概念

オブジェクトストレージは、非構造化データの保存方法です。オブジェクトストレージ内の各データは、個別のオブジェクトとして保存され、データオブジェクトを識別するための一意のアドレスを持ちます。通常、クラウドコンピューティング環境で使用されます。
他のデータストレージ方法とは異なり、オブジェクトベースのストレージはディレクトリツリーを使用しません。

設計と実装には違いがありますが、ほとんどのオブジェクトストレージシステムは、同様のコアリソースタイプを外部に提供します。クライアントの観点からは、次の論理単位に分割されます。

1.1 アマゾンS3：

1. ユーザー (User)
2. ストレージバケット (Bucket)
3. オブジェクト (Object)を提供します。

3 つの関係は次のとおりです。

ユーザーはシステム上のバケットにオブジェクトを保存します
バケットはユーザーに属し、オブジェクトを保持できます。バケットは複数のオブジェクトを保存するために使用されます。
同じユーザーが複数のバケットを持つことができ、異なるユーザーが同じ名前のバケットを使用できるため、ユーザー名をバケット名前空間として使用できます。

1.2OpenStack Swift：

ユーザー、コンテナ、オブジェクトはそれぞれユーザー、バケット、オブジェクトに対応するために提供されますが、プロジェクトまたはユーザーを表すために使用されるユーザーの追加の親コンポーネントアカウントも提供されるため、アカウントには 1 人以上のユーザーを含めることができます。同じコンテナのセットを共有し、コンテナに名前空間を提供できます。

1.3RadosGW：

ユーザー、サブユーザー、バケット、およびオブジェクトが提供され、ユーザーは S3 ユーザーに対応し、サブユーザーは Swift ユーザーに対応します。ただし、ユーザーもサブユーザーもバケットへの名前空間の提供をサポートしていないため、異なるユーザーのバケットに同じ名前を付けることはできません。 ; ただし、Jewel バージョン以降、RadosGW はユーザーとバケットに名前空間を提供するテナント (テナント) を導入しましたが、これはオプションのコンポーネントです。
上記のことから、Amazon S3、OpenStack Swift、RadosGw など、ほとんどのオブジェクトストレージのコアリソースタイプは類似していることがわかります。S3 と Swift は相互に互換性がありませんが、RadosGw と互換性を持たせるために、Ceph は S3 と Swift の API とネイティブ互換性のある RadosGW クラスターをベースとした RGW (RadosGateway) データ抽象化レイヤーと管理レイヤーを提供します。
S3 と Swift は http または https に基づいてデータ交換を完了でき、RadosGW の組み込み Civetweb によって提供されます。また、nginx、haproxy などのプロキシサーバーをサポートして、プロキシの形式でユーザーリクエストを受信して転送することもできます。 RadosGW プロセスに転送します。
RGW の機能は、クライアントに REST API インターフェイスを提供する役割を担うオブジェクトゲートウェイデーモンの実装に依存しています。冗長ロードバランシングが必要なため、通常は Ceph クラスター上に複数の RadosGW デーモンが存在します。

2.RGWインターフェースの作成

S3 や Swift などのインターフェイスを使用する必要がある場合は、RadosGW インターフェイスをデプロイ/作成するだけで済みます。通常、RadosGW は Alibaba Cloud OSS と同様のオブジェクトストレージとして使用されます。

2.1 管理ノードでの RGW デーモンプロセスの作成

cd /etc/ceph
ceph-deploy rgw create node01

ceph -s

#创建成功后默认情况下会自动创建一系列用于 RGW 的存储池
ceph osd pool ls
.rgw.root 
default.rgw.control			#控制器信息
default.rgw.meta			#记录元数据
default.rgw.log				#日志信息
default.rgw.buckets.index	#为 rgw 的 bucket 信息，写入数据后生成
default.rgw.buckets.data	#是实际存储的数据信息，写入数据后生成

#默认情况下 RGW 监听 7480 号端口
ssh root@node01 netstat -lntp | grep 7480

curl node01:7480

2.2 http+https をオンにしてリスニングポートを変更する

RadosGW デーモンは Civetweb によって内部実装されており、Civetweb を設定することで RadosGW の基本的な管理を完了できます。

2.2.1 Civetweb で SSL を有効にするには、まず証明書が必要で、rgw ノードで証明書を生成します。

#要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书
1）生成CA证书私钥：
openssl genrsa -out civetweb.key 2048

2）生成CA证书公钥：
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.80.11"

3）将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

2.2.2 リスニングポートの変更

Civetweb はデフォルトでポート 7480 をリッスンし、http プロトコルを提供します。設定を変更する必要がある場合は、管理ノード上の ceph.conf 設定ファイルを編集する必要があります。

cd /etc/ceph

vim ceph.conf
......
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"

●rgw_host：对应的RadosGW名称或者IP地址
●rgw_frontends：这里配置监听的端口，是否使用https，以及一些常用配置：
•port：如果是https端口，需要在端口后面加一个s。
•ssl_certificate：指定证书的路径。
•num_threads：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大
•request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000
•access_log_file：访问日志路径，默认为空
•error_log_file：错误日志路径，默认为空

#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务，再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}

ssh root@node01 systemctl restart ceph-radosgw.target

#在 rgw 节点上查看端口
netstat -lntp | grep -w 80
netstat -lntp | grep 443

#在客户端访问验证
curl http://192.168.80.11:80
curl -k https://192.168.80.11:443

2.3 RadosGW アカウントの作成

在管理节点使用 radosgw-admin 命令创建 RadosGW 账户

radosgw-admin user create --uid="rgwuser" --display-name="rgw test user"
......
    "keys": [
        {
            "user": "rgwuser",
            "access_key": "ER0SCVRJWNRIKFGQD31H",
            "secret_key": "YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna"
        }
    ],


#创建成功后将输出用户的基本信息，其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功，如果忘记用户信息可以使用下面的命令查看
radosgw-admin user info --uid="rgwuser"

2.4S3インターフェースアクセステスト

2.4.1 クライアントに python3 と python3-pip をインストールする

yum install -y python3 python3-pip

python3 -V

pip3 -V

2.4.2 S3 への接続をテストするための boto モジュールのインストール

pip3 install boto

2.4.3 S3 インターフェースへのテストアクセス

echo 123123 > /opt/123.txt

脚本内容

vim test.py
#coding:utf-8
import ssl
import boto.s3.connection
from boto.s3.key import Key
try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context
	
#test用户的keys信息
access_key = "ER0SCVRJWNRIKFGQD31H"                          #输入 RadosGW 账户的 access_key
secret_key = "YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna"      #输入 RadosGW 账户的 secret_key

#rgw的ip与端口
host = "192.168.80.11"        #输入 RGW 接口的 public 网络地址

#如果使用443端口，下述链接应设置is_secure=True
port = 443
#如果使用80端口，下述链接应设置is_secure=False
#port = 80
conn = boto.connect_s3(
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    host=host,
    port=port,
    is_secure=True,
    validate_certs=False,
    calling_format=boto.s3.connection.OrdinaryCallingFormat()
)

#一:创建存储桶
#conn.create_bucket(bucket_name='bucket01')
#conn.create_bucket(bucket_name='bucket02')

#二：判断是否存在，不存在返回None
exists = conn.lookup('bucket01')
print(exists)
#exists = conn.lookup('bucket02')
#print(exists)

#三：获得一个存储桶
#bucket1 = conn.get_bucket('bucket01')
#bucket2 = conn.get_bucket('bucket02')

#四：查看一个bucket下的文件
#print(list(bucket1.list()))
#print(list(bucket2.list()))

#五：向s3上存储数据，数据来源可以是file、stream、or string
#5.1、上传文件
#bucket1 = conn.get_bucket('bucket01')
# name的值是数据的key
#key = Key(bucket=bucket1, name='myfile')
#key.set_contents_from_filename('/opt/123.txt')
# 读取 s3 中文件的内容，返回 string 即文件 123.txt 的内容
#print(key.get_contents_as_string())

#5.2、上传字符串
#如果之前已经获取过对象，此处不需要重复获取
bucket2 = conn.get_bucket('bucket02')
key = Key(bucket=bucket2, name='mystr')
key.set_contents_from_string('hello world')
print(key.get_contents_as_string())

#六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key
bucket1 = conn.get_bucket('bucket01')
for key in bucket1:
    key.delete()
bucket1.delete()

2.4.4 上記の手順に従って Python スクリプトテストを実行します。

python3 test.py

5. OSD 障害のシミュレーションと回復

1. OSD 障害をシミュレートする

如果 ceph 集群有上千个 osd，每天坏 2~3 个太正常了，我们可以模拟 down 掉一个 osd

#如果 osd 守护进程正常运行，down 的 osd 会很快自恢复正常，所以需要先关闭守护进程
ssh root@node01 systemctl stop ceph-osd@0

#down 掉 osd
ceph osd down 0

ceph osd tree

2. 壊れた OSD をクラスターからキックします

//方法一：
#将 osd.0 移出集群，集群会开始自动同步数据
ceph osd out osd.0

#将 osd.0 移除 crushmap
ceph osd crush remove osd.0

#删除守护进程对应的账户信息
ceph auth rm osd.0

ceph auth list

#删掉 osd.0
ceph osd rm osd.0

ceph osd stat
ceph -s

//方法二：
ceph osd out osd.0

#使用综合步骤，删除配置文件中针对坏掉的 osd 的配置
ceph osd purge osd.0 --yes-i-really-mean-it

3. 元の壊れた OSD を修復し、クラスターに再参加します。

#在 osd 节点创建 osd，无需指定名，会按序号自动生成
cd /etc/ceph

ceph osd create

#创建账户
ceph-authtool --create-keyring /etc/ceph/ceph.osd.0.keyring --gen-key -n osd.0 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'

#导入新的账户秘钥
ceph auth import -i /etc/ceph/ceph.osd.0.keyring

ceph auth list

#更新对应的 osd 文件夹中的密钥环文件
ceph auth get-or-create osd.0 -o /var/lib/ceph/osd/ceph-0/keyring

#加入 crushmap
ceph osd crush add osd.0 1.000 host=node01		#1.000 代表权重

#加入集群
ceph osd in osd.0

ceph osd tree

#重启 osd 守护进程
systemctl restart ceph-osd@0

ceph osd tree		#稍等片刻后 osd 状态为 up	

//如果重启失败
报错：
Job for [email protected] failed because start of the service was attempted too often. See "systemctl  status [email protected]" and "journalctl -xe" for details.
To force a start use "systemctl reset-failed [email protected]" followed by "systemctl start [email protected]" again.

#运行
systemctl reset-failed [email protected] && systemctl restart [email protected]

Cephサービスの使用法

1. リソースプールのプール管理