本文由个人原创出品，51cto博客首发，转载请注明出处。
本文档介绍Ceph存储手动部署过程，此处介绍Ceph无认证方式部署，适用于内部环境部署和使用Ceph。
一.部署环境介绍
1.硬件环境：
ceph01: 10.10.10.11
ceph02: 10.10.10.12
ceph03: 10.10.10.13
2.软件环境
操作系统： CentOS7.6
Ceph存储：jewel （10.2.10）
二.基础环境准备
1.安装CentOS7.6操作系统
2.配置操作系统名称、网络、hosts文件、关闭Selinux、关闭防火墙
三.安装Ceph
1.安装Ceph源
# yum install centos-release-ceph-jewel
2.安装Ceph
# yum install ceph
四.初始化Ceph第一个MON节点
1.生成ceph集群fsid
# uuidgen
2.编辑ceph配置文件，文件位置和内容如下：
# vim /etc/ceph/ceph.conf
[global]
auth cluster required = none
auth service required = none
auth client required = none
fsid = a2efc66d-fd3f-464f-8098-c43d63b6f989
log file = /var/log/ceph/$name.log
pid file = /var/run/ceph/$name.pid
osd pool default size = 3
osd pool default min size = 2
osd pool default pg num = 128
osd pool default pgp num = 128
# public network = 10.10.20.0/24
# cluster network = 10.10.30.0/24
mon osd full ratio = .85
mon osd nearfull ratio = .70
[mon]
mon data = /ceph/mondata/mon$host
[mon.ceph01]
host = ceph01
mon addr = 10.10.10.11:5000
[osd]
osd data = /data/osd$id
osd journal = /ceph/journal/osd$id/journal
osd journal size = 10240
osd mkfs type = xfs
osd mkfs options xfs = -f
osd mount options xfs = rw,noatime
注明：
（1）fsid需要替换为你在第一步生成的id
（2）ceph存储默认mon服务端口为6789，此处修改为5000
（3）mon和osd相关数据存储目录也做了修改，需注意
3.生成monitor map:
# monmaptool --create --add ceph01 10.10.10.11:5000 --fsid a2efc66d-fd3f-464f-8098-c43d63b6f989 /tmp/monmap
4.创建mon数据存储目录：
# mkdir -p /ceph/mondata
5.生成第一个monitor守护进程相关文件：
# ceph-mon --mkfs -i ceph01 --monmap /tmp/monmap
6.修改ceph目录属主为ceph
# chown -R ceph.ceph /ceph
7.启动ceph存储mon守护进程，并添加开机自启动：
# systemctl start ceph-mon@ceph01
# systemctl enable ceph-mon@ceph01
五.添加Ceph Mon节点
1.修改Ceph配置文件，添加新的Mon节点信息，并同步该配置文件到Ceph集群其他节点上
# vim /etc/ceph/ceph.conf 添加如下内容：
[mon.ceph02]
host = ceph02
mon addr = 10.10.10.12:5000
2.获取ceph集群monmap:
# ceph mon getmap -o /tmp/monmap
3.创建mon数据存储目录：
# mkdir -p /ceph/mondata
4.生成第二个monitor守护进程相关文件：
# ceph-mon --mkfs -i ceph02 --monmap /tmp/monmap
5.添加新的Mon节点到集群中
# ceph mon add ceph02 10.10.10.12:5000
6.修改ceph目录属主为ceph
# chown -R ceph.ceph /ceph
7.启动ceph存储mon守护进程，并添加开机自启动：
# systemctl start ceph-mon@ceph02
# systemctl enable ceph-mon@ceph02
六.添加Ceph OSD节点
OSD节点用于存储Ceph集群数据，建议每块硬盘启用一个OSD服务，同时每个OSD服务包括journal数据和对象数据，此处将这两种数据放在了同一块硬盘的不同分区上。
1.生成OSD ID
# ceph osd create
注明：正常情况下，第一个osd服务的ID应该为0，下面以添加osd0为例介绍。
2.编辑ceph配置文件，添加新的Osd节点信息，并同步该配置文件到Ceph集群其他节点上
[osd.0]
host = ceph01
devs = /dev/sdb1
注明：此处sdb1为journal数据存储分区
3.创建osd数据存储相关目录：
# mkdir -p /var/lib/ceph/osd/ceph-0
# mkdir -p /ceph/journal/osd0
# mkdir -p /data/osd0
4.格式化用于osd存储的磁盘分区
# mkfs.xfs -f /dev/sdb1
# mkfs.xfs -f /dev/sdb2
注明：sdb1为journal数据存储分区，sdb2为对象数据存储分区
5.挂载用于osd存储的磁盘分区，并添加开机自动挂载
# mount /dev/sdb1 /ceph/journal/osd0
# mount /dev/sdb2 /data/osd0
# echo '/dev/sdb1 /ceph/journal/osd0 xfs defaults 0 0' >> /etc/fstab
# echo '/dev/sdb2 /data/osd0 xfs defaults 0 0' >> /etc/fstab
6.生成osd服务相关文件
# ceph-osd -i 0 --mkfs --mkkey
# ceph auth add osd.0 osd 'allow *' mon 'allow rwx' -i /data/osd0/keyring
7.添加osd到ceph集群中
# ceph osd crush add osd.0 1.0 root=default
注明：1.0为该osd服务在ceph存储中存储数据的权重，磁盘空间越大，相应的权重也应该越高，该值需根据实际磁盘容量调整。
8.修改ceph目录属主为ceph
# chown -R ceph.ceph /ceph
# chown -R ceph.ceph /data
9.启动ceph存储osd守护进程，并添加开机自启动：
# systemctl enable ceph-osd@0
# systemctl start ceph-osd@0
10.重复以上步骤，添加更多的osd存储节点。
11.查看Ceph存储状态
# ceph -s
本人负责成都征天科技有限公司云计算相关产品的研发，征天科技致力于为企业和个人提供专业的云计算IaaS和PaaS层产品和服务，官网地址：www.tjiyun.com 欢迎访问。如您有任何疑问，欢迎与我们联系，微信号 ztkj_tjiyun