Ceph — 使用cephadm搭建Ceph集群

本文将通过cephadm工具来学习如何简单地搭建一个octopus版集群。

准备

1. 服务器

主机名	ip	os	cpu/内存	数据盘
mgr-01	192.168.2.15	Centos7.7	2C4G	无
node-01	192.168.2.144	Centos7.7	2C4G	60G
node-02	192.168.2.230	Centos7.7	2C4G	60G
node-03	192.168.2.60	Centos7.7	2C4G	60G

2. 关闭防火墙关闭selinux

$ systemctl stop firewalld
$ systemctl disable firewalld
$ setenforce 0
$ sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

3. 安装docker

$ sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
$ sudo yum install docker-ce docker-ce-cli containerd.io -y
$ systemctl start docker
$ systemctl enable docker
$ systemctl status docker

4. 时间同步

$ yum -y install chrony
$ systemctl enable chronyd
$ systemctl start chronyd

5. 安装lvm2

$ yum install lvm2 -y

6. 安装python3，已安装的话跳过。

7. 配置hosts

$ cat /etc/hosts
192.168.2.144 node-01
192.168.2.230 node-02
192.168.2.60 node-03

8. 节点间 ssh 免密登录

安装 cephadm

1. 下载安装脚本

curl --silent --remote-name --location https://github.com/ceph/ceph/raw/quincy/src/cephadm/cephadm

2. 给予cephadm执行权限

chmod +x cephadm

3. 添加cephadm yum源

$ ./cephadm add-repo --release octopus
# 替换为阿里源(可选)
$ sed -i 's#download.ceph.com#mirrors.aliyun.com/ceph#' /etc/yum.repos.d/ceph.repo

4. 安装 cephadm

# 导入密钥
$ rpm --import 'https://download.ceph.com/keys/release.asc'
# 安装
$ ./cephadm install

5. 安装ceph工具包
   ceph工具包包括ceph，rbd，mount.ceph等命令

   $ cephadm install ceph-common
   

部署集群

1. 引导ceph集群

$ cephadm bootstrap --mon-ip 192.168.2.15 --skip-monitoring-stack

–mon-ip：指定host IP
–skip-monitoring-stack：跳过监控组件的安装，包括prometheus, grafana, alertmanager, node-exporter。如有需要，可去掉此参数

这条命会执行以下操作

• 在本地主机上为新集群创建 monitor 和 manager 守护进程。
• 为Ceph集群生成一个新的SSH密钥，并将其添加到根用户的/root/.ssh / authorized_keys文件中。
• 将与新集群通信所需的最小配置文件写入/etc/ceph/ceph.conf。
• 将client.admin的管理(特权!)密钥的副本写到/etc/ceph/ceph.client.admin.keyring.。
• 在/etc/ceph/ceph.pub中写入一份公钥副本。

命令成功后会出现如下结果：

按照提示我们可以登录ceph集群的dashboard

2. 添加其他节点

$ ssh-copy-id -f -i /etc/ceph/ceph.pub root@node-01
$ ssh-copy-id -f -i /etc/ceph/ceph.pub root@node-02
$ ssh-copy-id -f -i /etc/ceph/ceph.pub root@node-03

$ ceph orch host add node-01
$ ceph orch host add node-02
$ ceph orch host add node-03

3. 创建OSD
方法一：自动添加所有满足条件的OSD

$ ceph orch apply osd --all-available-devices

方法二：手工指定的方式添加OSD

$ ceph orch daemon add osd node-01:/dev/sdb
$ ceph orch daemon add osd node-02:/dev/sdb
$ ceph orch daemon add osd node-03:/dev/sdb

执行成功后，通过以下命令查看osd，Available显示no，表示OSD创建完成

最后，再次通过页面查看集群部署完成后的状态