#创建rdb池子
[root@node140 osd]# ceph osd pool create rbd 128
#查看已经创建的pools池
[root@node140 osd]# ceph osd lspools
1 rdb
#初始化pool
[root@node140 osd]# rbd pool init rbd
#ceph集群中创建remote_rbd71镜像
[root@node140 osd]# rbd create remote_data1 --size 100G --image-feature layering
[root@node140 osd]# rbd create remote_rbd71 --size 100G --image-feature layering
#查看rbd
[root@node140 /]# rbd ls -l
NAME SIZE PARENT FMT PROT LOCK
rbd_data1 10 GiB 2
remote_rbd71 100 GiB 2 excl
#查看镜像详细信息
[root@node140 /]# rbd --image rbd_data1 info
#############ceph集群本地使用RBD##############
#映射到本地，就可以翔本地硬盘一样使用了
[root@node140 osd]# rbd map rbd_data1
root@node140 osd]# rbd showmapped
id pool namespace image snap device
0 rbd rbd_data1 - /dev/rbd0
#格式化，挂载使用
[root@node140 osd]# mkfs.xfs /dev/rbd0
[root@node140 /]# mount /dev/rbd0 /mnt/
[root@node140 /]# df -h
/dev/rbd0 10G 33M 10G 1% /mnt
#############远程主机使用RBD#################
注释：linux 内核从2.6.32版本开始支持ceph，对于客户端来说，要支持以本地化方式访问ceph设备快文件系统，
建议使用2.6.34及以上版本的linux内核。
[root@zabbix71 ~]# uname -r 查看内核版本
3.10.0-862.14.4.el7.x86_64
[root@zabbix71 ~]# modprobe rbd
检查是否支持rbd，module rbd not found表示不支持
#客户端添加ceph集群主机host解析
[root@zabbix71 ~]# vim /etc/hosts
10.10.202.140 node140
10.10.202.141 node141
10.10.202.142 node142
10.10.202.143 node143
#安装ceph 客户端，对应版本，我装的N版本
[root@zabbix71 ~]# yum -y install centos-release-ceph-nautilus.noarch
[root@zabbix71 ~]# yum -y install ceph-common
#将ceph服务端的密钥拷贝到ceph客户端
PS:生产环境不要拷贝admin密钥，建立分权密钥，或者创建用户
[root@node140 /]# scp /etc/ceph/ceph.client.admin.keyring 10.10.202.71:/etc/ceph/
[root@node140 /]# scp /etc/ceph/ceph.conf 10.10.202.71:/etc/ceph/
#客户端查看
[root@zabbix71 ~]# rbd --image remote_rbd71 info
#客户端映射，第一次提示报错，不支持的特性，执行下面那条命令
[root@zabbix71 ~]# rbd map rbd/remote_rbd71
rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable remote_rbd1 object-map fast-diff deep-flatten".
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address
[root@zabbix71 ~]# rbd feature disable remote_rbd1 object-map fast-diff deep-flatten
#客户端重新map，rbd是pool名字，remote_rbd71是快存储名字
[root@zabbix71 ~]# rbd map rbd/remote_rbd71
/dev/rbd0
#附加：查看映射，取消映射
[root@zabbix71 ~]# rbd showmapped
id pool namespace image snap device
0 rbd remote_rbd71 - /dev/rbd0
#[root@zabbix71 /]# rbd unmap /dev/rbd/rbd/remote_rbd71
#查看fdisk -l 就可以看到硬盘
[root@zabbix71 ~]# fdisk -l
Disk /dev/rbd0: 107.4 GB, 107374182400 bytes, 209715200 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 4194304 bytes / 4194304 bytes
#格式化，挂载使用,永久挂载
[root@zabbix71 ~]# mkfs.xfs /dev/rbd0
[root@zabbix71 ~]# mount /dev/rbd0 /mnt/
[root@zabbix71 ~]#vim /etc/fstab
/dev/rbd0 /mnt defaults 0 0