菜鸟手动部署ceph环境

其他 2018-08-14 22:38:32 阅读次数: 0

本人实属菜鸟，不小心跑脚本搞崩了一台服务器。。。学艺不精，难受。。。

话不多说，闯的祸总得弥补和解决~

一、安装ubuntu系统

这个不是此处重点，但是由于本人以前都是在各种大佬的庇护下成长的，所以这种事情也是头一回，还是搞了好一会儿。

可以参照一下两个链接的教程：

https://jingyan.baidu.com/article/bea41d439726c1b4c51be629.html

https://www.linuxidc.com/Linux/2017-11/148341.htm

安装好了虚拟机后，首次登陆设置root密码——sudo passwd，修改成功后，输入命令su root进入root用户。

（1）安装好了系统之后需要手动配置静态IP：

vim /etc/network/interfaces

修改文件内容举例如下：（我的不叫eth0，是enp2s0，输入ifconfig看第一个）

auto eth0
iface eth0 inet static
address 192.168.0.124
netmask 255.255.255.0
gateway 192.168.0.1
dns-nameserver 114.114.114.114

（2）更新主机源，安装相应的包

配置/etc/apt/sources.list，然后更新源，先用echo “ “ > /etc/apt/sources.list清空，然后输入对应的源地址，输入如下：

deb [arch=amd64] http://200.200.212.190/ubuntu/archive.ubuntu.com/ubuntu/ xenial main restricted universe multiverse

（3）安装ssh工具，安装完之后可在电脑上远程操作

apt-get install openssh-server  

安装不成功时，需要执行apt-get remove openssh-client

Xshell连接Ubuntu时SSH服务器拒绝了密码问题——vi / etc/ssh/sshd_config 

将PermitRootLogin 后面改为yes

之后重启ssh-server ——sudo /etc/init.d/ssh resarte


（4）安装vim工具：apt-get install vim

（5）安装ceph环境

  • 增加ceph源，在  /etc/apt/sources.list 中加入以下内容：
deb [arch=amd64]  http://200.200.212.190/ubuntu/archive.ubuntu.com/ubuntu/ xenial-security main restricted universe multiverse
deb [arch=amd64]  http://200.200.212.190/ubuntu/archive.ubuntu.com/ubuntu/ xenial-updates main restricted universe multiverse
deb-src http://200.200.212.190/ubuntu/archive.ubuntu.com/ubuntu/ xenial main restricted universe multiverse
deb-src http://200.200.212.190/ubuntu/archive.ubuntu.com/ubuntu/ xenial-security main restricted universe multiverse
deb-src http://200.200.212.190/ubuntu/archive.ubuntu.com/ubuntu/ xenial-updates main restricted universe multiverse
deb [arch=amd64] http://200.200.212.190/ubuntu/release/Ubuntu/ xenial main
deb-src http://200.200.212.190/ubuntu/release/Ubuntu/ xenial main

二、Ceph集群部署

输出内容——ceph version 12.2.4 (52085d5249a80c5f5121a76d6288429f35e4e77b) luminous (stable)  

  • 更新源 apt-get update
  • 执行安装命令apt-get install ceph --allow-unauthenticated
  • 查看ceph版本确认是否正常安装ceph：ceph --version 

 1、创建用户

在运行 ceph 守护进程的节点上创建一个普通用户

  • useradd ceph -d /home/ceph -m  ——创建的时候可能会显示用户已存在，因为Ubuntu系统自带ceph用户，可以直接用该用户
  • passwd ceph——更改ceph用户密码

2、设置host，添加节点对应的ip

  • vim /etc/hostname ——更改主机名（如node1）
  • vim /etc/hosts

  如：200.200.102.140 node1

3、给集群分配唯一uuid

uuidgen
输出如：bda28ad8-b3e8-452c-bdab-65e114a19567，记下来，下一步要用

4、创建 ceph 配置文件， ceph 默认使用 ceph.conf ，其中的 ceph 是集群名字

vim /etc/ceph/ceph.conf
将步骤2生成的唯一uuid写入配置文件
fsid = {UUID}
如：fsid=bda28ad8-b3e8-452c-bdab-65e114a19567

5、把初始监视器写入ceph配置文件

mon initial members = {hostname}[,{hostname}]
例如：mon initial members = node1

6、把初始监视器的 IP 地址写入 ceph 配置文件、并保存

mon host = {ip-address}[,{ip-address}]
例如：mon host = 200.200.102.140

以上三步完成后就保存ceph 配置文件并退出。

7、为此集群创建密钥环、并生成监视器密钥

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

ceph-authtool命令
功能描述：ceph的密钥环操作工具
概要：
ceph-authtool keyringfile

  • [ -l | --list ]
  • [ -p | --print-key ]
  • [ -C | --create-keyring ]
  • [ -g | --gen-key ]
  • [ --gen-print-key ]
  • [ --import-keyring otherkeyringfile ]
  • [ -n | --name entityname ]
  • [ -u | --set-uid auid ]
  • [ -a | --add-key base64_key ]
  • [ --cap subsystem capability ]
  • [ --caps capfile ]

选项说明：

  • -l, --list列出keyring文件中的所有keys和capabilities
  • -p, --print-key  打印指定的实体的编码后的key
  • -C, --create-keyring   创建密钥环，如果密钥环存在，则重写
  • -g, --gen-key    为指定的实体生成密钥  
  • --import-keyring FILE   要被导入的密钥环文件
  •  -n 指定操作的实体名称，格式为type.id，type的有效类型有:auth,mon,osd,mds,mgr,client等。
  •  -u, --set-uid *auid* 设置实体的auid，即认证用户的user id
  • -a BASE64, --add-key BASE64 添加编码后的key到keyring中
  • --cap  *subsystem* *capability*  设置子系统支持的capability
  •  --caps *capsfile* 设置所有子系统关联的key的所有功能。

capability：
ceph的子系统有: mon,mds,osd,mgr
capability是对给定用户允许做哪些操作的一个描述。采用逗号分隔的形式，包含一个或多个rwx权限说明符的allow子句列表。 allow * 授予给定的子系统超级用户的权限.
例如：
      osd = "allow rwx"  允许读写和执行
     mds = "allow"   允许进入
     mon = "allow rwx"   允许修改集群状态
     librados 用户对单个池的严格限制：
          mon = "allow r"
          osd = "allow rw pool foo"
客户端使用rbd，访问一个池，并且读写另外一个池：
mon = "allow r"
osd = "allow class-read object_prefix  rbd_children, allow pool templates r class-read, allow pool vms rwx"
客户端使用最小权限挂载文件系统：
mds = "allow"
osd = "allow rw pool data"
mon = "allow r"
OSD CAPABILITIES
通常，osd 的功能遵循下面语法：
          osdcap  := grant[,grant...]
          grant   := allow (match capspec | capspec match)
          match   := [pool[=]<poolname> | object_prefix <prefix>]
          capspec := * | [r][w][x] [class-read] [class-write]
capspec 取决于实体可以执行的操作类型：
r  = 读对象
w = 写对象
x = 能调用任何类方法
class-read  = 能调用类中的读方法
class-write = 能调用类中的写方法
* = 等价于rwx，再加上执行osd admin命令的权限。比如ceph osd tell

CAPS 文件格式
Caps 文件格式，包含零个或多个key/value对，每行一个.key和值通过’=’分隔，如果值包含空格，则必须使用单引号或者双引号引用。Key是ceph子系统的名称，而值是capability的字符串值.

8、生成管理员密钥环，生成 client.admin 用户并加入密钥环

ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow' --cap mgr 'allow *'

9、把 client.admin 密钥加入 ceph.mon.keyring

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

10、用规划好的主机名、对应 IP 地址、和 FSID 生成一个监视器图，并保存为 /tmp/monmap

monmaptool --create --add {hostname} {ip-address} --fsid {uuid} /tmp/monmap

例如：monmaptool --create --add node1 200.200.102.140:6789 --fsid bda28ad8-b3e8-452c-bdab-65e114a19567 /tmp/monmap

注意：{hostname} {ip-address} --fsid {uuid} 这一步的填写。

11、在监视器主机上分别创建数据目录

sudo mkdir /var/lib/ceph/mon/{cluster-name}-{hostname}
例如：sudo mkdir /var/lib/ceph/mon/ceph-node1

12、用监视器图和密钥环组装守护进程所需的初始数据

ceph-mon [--cluster {cluster-name}] --mkfs -i {monid} --keyring /tmp/ceph.mon.keyring

例如：ceph-mon --mkfs -i node1 --keyring /tmp/ceph.mon.keyring

ceph-mon
功能描述：ceph 监视器的守护。
概要：
ceph-mon -i monid [ --mon-data mondatapath ]
选项：

  •  -f, --foreground 启动后不用守护进程。不生成pid文件。在执行ceph-run时很有用
  • -d  debug模式运行。类似-f,但会发送所有的日志输出到stderr中
  • --setuser userorgid 启动后设置用户uid.如果指定了用户名称，则查找用户记录以获得uid和gid，并且gid也会被设置，除非通过--setgroup显式设置了gid
  • --setgroup grouporgid 启动后设置gid.如果指定了组名称，则查找组记录以获得gid
  • -c ceph.conf, --conf=ceph.conf 使用ceph.conf配置文件，代替默认的/etc/ceph/ceph.conf，用于在启动过程中决定监视器的地址
  • --keyring  指定密钥环，与--mkfs一起使用
  • --mkfs   初始监视器数据目录，通过给定的种子信息生成并初始ceph的文件系统，或者将监视器加入已存在的监视器集群.

 以下三个信息必须提供：

  • 集群的fsid. 通过指定的 --monmap<path>获得，获得显式的通过 --fsid<uuid>指明.
  • 监视器列表和它们的的地址。监视器列表可以来源于 --monmap文件，地址来源于ceph.conf的mon host配置，或者mon addr配置。如果该监视器是新集群的初始监视器，那么它必须包含在ceph.conf的initial 列表中，name或者address必须同配置之后的列表匹配。
  • 监视器的mon 密钥。 通过--keyring<path>提供

 monid 一般设置为主机的hostname，且必须与第10步中的monmaptool中的name一致，不然会发现执行了该命令之后，数据目录中缺少keyring文件.

13、修改监视器主机数据目录的属主为ceph

chown -R ceph.ceph /var/lib/ceph/mon/ceph-node1

因为ceph-mon守护进程默认以ceph用户运行

14、完善ceph配置文件

vim /etc/ceph/ceph.conf

添加以下内容：

单机部署时，设置osd_crush_chooseleaf_type = 0
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_crush_chooseleaf_type = 1
osd_pool_default_size = 1
osd_journal_size = 100

15、启动监视器

通过服务方式启动——systemctl start ceph-mon@{monid}l
例如:systemctl start ceph-mon@node1

以上步骤创建了monitor，下面将要创建OSD。

三、创建OSD

以下的配置及操作，都假设我们只有两个OSD

1. 硬盘分区

首先确认你的系统有两块与系统无关的磁盘，如果没有，对于虚拟机来讲可以进行添加磁盘。

使用命令lsblk查看磁盘情况

假设你的硬盘sdb有100G，那么

 如上操作就能把该硬盘划分为不同大小的四块盘，可以按照自己的需求划分。

  •  parted -s /dev/sdb mklabel gpt
  •  parted -s /dev/sdb mkpart primary 1 20G
  •  parted -s /dev/sdb mkpart primary 20G 50G
  •  parted -s /dev/sdb mkpart primary 50G 80G
  •  parted -s /dev/sdb mkpart primary 80G 100G

2.配置ceph.conf

红色表示根据osd服务器实际情况修改内容.

  • db path为rocksdb 存放数据的位置
  • wal path 为rocksdb的原子操作位置
  • block path 为实际数据存放的位置

而我们留下的第一个分区 /dev/sdb1  、/dev/sdc1 做为osd的元数据存放位置，里面存放osd的keying，whoami等校验文件。

将以下内容加入到/etc/ceph/ceph.conf中：

[osd]
osd mkfs type = xfs
osd data =/var/lib/ceph/osd/$cluster-$id
osd objectstore = bluestore
bluestore fsck on mount = true
bluestore block create = true
bluestore block db size =48864
bluestore block db create = true
bluestore block wal size =1300000
bluestore block wal create =true
[osd.0]
host = node1
bluestore block db path = /dev/sdb2
bluestore block wal path = /dev/sdb3
bluestore block path = /dev/sdb4
[osd.1]
host = node1
bluestore block db path = /dev/sdc2
bluestore block wal path = /dev/sdc3
bluestore block path = /dev/sdc4

3.创建osd的元数据目录

mkfs.xfs /dev/sdb1
mkfs.xfs /dev/sdc1

mkdir -p /var/lib/ceph/osd/ceph-0
mkdir -p /var/lib/ceph/osd/ceph-1

mount /dev/sdb1    /var/lib/ceph/osd/ceph-0
mount /dev/sdc1  /var/lib/ceph/osd/ceph-1

4.OSD

（1）创建osd——ceph osd create

这一步可能会遇到错误：Cluster connection interrupted or timed out

这是因为没有开启服务，可以查看monitor——ps -elf|grep ceph-mon

解决方法——systemctl start ceph-mon@node1

systemctl命令是系统服务管理器指令

（2）创建osd的元数据

sudo ceph-osd -i 0  --mkfs  --mkkey

注意，这里如果你要创建两个osd则需要执行两次ceph osd create ，如下：

ceph osd create
sudo ceph-osd -i 0  --mkfs  --mkkey
ceph osd create
sudo ceph-osd -i 1  --mkfs  --mkkey

正常输出如下：

2018-07-22 21:32:19.753081 7effffb2de00 -1 auth: error reading file: /var/lib/ceph/osd/ceph-0/keyring: can't open /var/lib/ceph/osd/ceph-0/keyring: (2) No such file or directory
2018-07-22 21:32:19.818500 7effffb2de00 -1 created new key in keyring /var/lib/ceph/osd/ceph-0/keyring
2018-07-22 21:32:19.982231 7effffb2de00 -1 bluestore(/var/lib/ceph/osd/ceph-0/block) _read_bdev_label failed to open /var/lib/ceph/osd/ceph-0/block: (2) No such file or directory
2018-07-22 21:32:19.982268 7effffb2de00 -1 bluestore(/var/lib/ceph/osd/ceph-0/block) _read_bdev_label failed to open /var/lib/ceph/osd/ceph-0/block: (2) No such file or directory
2018-07-22 21:32:19.982284 7effffb2de00 -1 bluestore(/var/lib/ceph/osd/ceph-0/block) _read_bdev_label failed to open /var/lib/ceph/osd/ceph-0/block: (2) No such file or directory
2018-07-22 21:32:20.350831 7effffb2de00 -1 bluestore(/var/lib/ceph/osd/ceph-0) _read_fsid unparsable uuid 
2018-07-22 21:32:30.398186 7effffb2de00 -1 created object store /var/lib/ceph/osd/ceph-0 for osd.0 fsid 43bf26f8-4038-4d89-9d24-5181ad5490aa

（3）注册osd 密钥，osd的keyring路径取决于元数据的存储路径

有两个osd则输入两次命令，注意修改osd的osdnum  ：

sudo ceph auth add osd.0 osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/ceph-0/keyring
sudo ceph auth add osd.1 osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/ceph-1/keyring

（4）把此osd节点加入CRUSH map

sudo ceph osd crush add-bucket  node1  host

（5）把host加到crush map的根节点root

sudo ceph osd crush move node1 root=default

（6）把osd加到crush map的host中，将此osd节点作为主机的一个条目、分配权重、重新编译、注入集群

root@node1:/etc/ceph# ceph osd crush add osd.1 1.0 host=node1 
输出：add item id 2 name 'osd.1' weight 1 at location {host=node1} to crush map

（7）修改osd数据目录和磁盘分区的属主

chown -R ceph.ceph /var/lib/ceph/osd/ceph-0
chown ceph /dev/sdb2
chown ceph /dev/sdb3
chown ceph /dev/sdb4

（8）启动osd

服务器启动——service ceph-osd@0 start

手动启动——ceph-osd -i {osdnumber}    例如：ceph-osd -i 0

 

5.MDS

（1）创建mds工作目录——mkdir -p /var/lib/ceph/mds/ceph-node1

（2）2.注册mds的密钥。{$id} 是 MDS 的标识字母

ceph auth get-or-create mds.node1 mds 'allow *' osd 'allow rwx'  mon   'allow profile mds'  -o  /var/lib/ceph/mds/ceph-node1/keyring

（3）启动mds进程

服务器启动——service ceph-mds@node1 start

手动启动——ceph-mds  --cluster ceph --id node1 --setuser ceph --setgroup ceph

6. Pool

1、创建pool

ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] \
        [crush-ruleset-name] [expected-num-objects]
ceph osd pool create {pool-name} {pg-num}  {pgp-num}   [erasure] \
        [erasure-code-profile] [crush-ruleset-name] [expected_num_objects]

例如：
ceph osd pool create fsdata 128 128
ceph osd pool create fsmetadata 128 128

参数说明：

  • pool-name  存储池名称，必须唯一；string；必需
  • pg-num  存储池拥有的归置组总数；整型；必需
  • pgp-num  用于归置的归置组总数；整型；必需
  • {replicated|erasure}   存储池类型，可以是副本（保存多份对象副本，以便从丢失的 OSD 恢复）或纠删（获得类似 RAID5 的功能）；string；非必需
  • crush-ruleset-name  此存储池所用的 CRUSH 规则集名字。指定的规则集必须存在；string； 非必需
  • erasure-code-profile=profile  仅用于纠删存储池。指定纠删码配置框架，此配置必须已由 osd erasure-code-profile set 定义；string；非必需
  • expected-num-objects  为这个存储池预估的对象数。设置此值（要同时把 filestore merge threshold 设置为负数）后，在创建存储池时就会拆分 PG 文件夹，以免运行时拆分文件夹导致延时增大；整型；非必需

 7. 创建ceph文件系统

       一个ceph文件系统需要至少两个rados存储池，一个用于数据，一个用于元数据。创建好存储池后，就可以用fs new命令创建文件系统了：

 ceph fs new <fs_name> <metadata> <data>
例如：ceph fs new  cephfs  fsmetadata  fsdata

 文件系统创建完毕后， MDS 服务器就能达到 active 状态了，比如在一个单 MDS 系统中：

$ ceph mds stat
e5: 1/1/1 up {0=a=up:active}

创建好文件系统且 MDS 活跃后，就可以挂载此文件系统。

8. 把ceph FS挂载为FUSE

单节点不用挂载，直接执行如下操作：

使用ceph-fuse命令挂载ceph文件系统作为客户机的用户空间文件系统。
sudo mkdir /home/usernname/cephfs
sudo ceph-fuse -m 200.200.102.140:6789 /home/username/cephfs

注意，这里的username是你的主机名，可以cd home看一下

9.mgr

（1）创建mgr的数据目录.{$id} 是 mgr 的标识字母

mkdir -p /var/lib/ceph/mgr/ceph-{$id}
例如：mkdir -p /var/lib/ceph/mgr/ceph-node1

（2）创建密钥

ceph auth get-or-create mgr.node1 mon 'allow *'  osd  'allow *' mds  'allow *' -o /var/lib/ceph/mgr/ceph-node1/keyring

（3）启动mgr进程

服务方式启动：
systemctl start ceph-mgr@{id}
例如：systemctl start ceph-mgr@node1
进程启动：
ceph-mgr -i {$id}
例如：ceph-mgr -i node1

以上步骤全部搞定之后，执行ceph -s，正常情况下会出现如下内容：

root@node1:~# ceph -s
  cluster:
    id:     43bf26f8-4038-4d89-9d24-5181ad5490aa
    health: HEALTH_OK
 
  services:
    mon: 1 daemons, quorum node1
    mgr: node2(active), standbys: node1
    mds: cephfs-1/1/1 up  {0=node1=up:active}
    osd: 2 osds: 2 up, 2 in
 
  data:
    pools:   2 pools, 256 pgs
    objects: 21 objects, 2246 bytes
    usage:   35470 MB used, 102 GB / 136 GB avail
    pgs:     256 active+clean

猜你喜欢

转载自blog.csdn.net/u012114090/article/details/81125795
今日推荐
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
周排行
curl的POST请求，封装方法
8.1.1. Integer Types
Java基础 Day05(个人复习整理)
Python - Django - 中间件 process_exception
小L的试卷
【Shell编程】 （函数）判断用户是否存在
python(css样式)
spring ant path 匹配原则 - 【笔记】
《JavaScript与JScript从入门到精通》(美)James.Jaworski.中译本.扫描版.pdf
Eclipse运行带参数的java程序
每日归档
更多
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022