十、块存储服务集群

概述

cinder-api

接受API请求，并将其路由到``cinder-volume``执行。

cinder-volume

与块存储服务和例如``cinder-scheduler``的进程进行直接交互。它也可以与这些进程通过一个消息队列进行交互。``cinder-volume``服务响应送到块存储服务的读写请求来维持状态。它也可以和多种存储提供者在驱动架构下进行交互。

cinder-scheduler守护进程

选择最优存储提供节点来创建卷。其与``nova-scheduler``组件类似。

cinder-backup daemon

``cinder-backup``服务提供任何种类备份卷到一个备份存储提供者。就像``cinder-volume``服务，它与多种存储提供者在驱动架构下进行交互。

消息队列

在块存储的进程之间路由信息。

扫描二维码关注公众号，回复： 1006826 查看本文章

7.1.、控制节点安装

7.1.1、先决条件

在你安装和配置块存储服务之前，你必须创建数据库、服务证书和API端点。

完成下面的步骤以创建数据库：

1、建数据库

$ mysql -u rgalera -p galera -h 192.168.16.10

创建 cinder 数据库：

MariaDB [(none)]> CREATE DATABASE cinder;

允许 cinder 数据库合适的访问权限：

MariaDB [(none)]> GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'localhost' \

IDENTIFIED BY 'CINDER_DBPASS';

MariaDB [(none)]> GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'%' \

IDENTIFIED BY 'CINDER_DBPASS';

获得 admin 凭证来获取只有管理员能执行的命令的访问权限：

$ . admin-openrc

要创建服务证书，完成这些步骤：

2、创建角色、用户

创建一个 cinder 用户：

$ openstack user create --domain default --password-prompt cinder

User Password:

Repeat User Password:

+---------------------+----------------------------------+

| Field | Value |

+---------------------+----------------------------------+

| domain_id | default |

| enabled | True |

| id | 9d7e33de3e1a498390353819bc7d245d |

| name | cinder |

| options | {} |

| password_expires_at | None |

+---------------------+----------------------------------+

3、添加 admin 角色到 cinder 用户上

$ openstack role add --project service --user cinder admin

4、创建cinder服务实体

$ openstack service create --name cinderv2 \

--description "OpenStack Block Storage" volumev2

+-------------+----------------------------------+

| Field | Value |

+-------------+----------------------------------+

| description | OpenStack Block Storage |

| enabled | True |

| id | eb9fd245bdbc414695952e93f29fe3ac |

| name | cinderv2 |

| type | volumev2 |

+-------------+----------------------------------+

$ openstack service create --name cinderv3 \

--description "OpenStack Block Storage" volumev3

+-------------+----------------------------------+

| Field | Value |

+-------------+----------------------------------+

| description | OpenStack Block Storage |

| enabled | True |

| id | ab3bbbef780845a1a283490d281e7fda |

| name | cinderv3 |

| type | volumev3 |

+-------------+----------------------------------+

注解

块设备存储服务要求两个服务实体。

5、创建块存储服务API端点

创建块设备存储服务的 API 入口点：

$ openstack endpoint create --region RegionOne \

volumev2 public http://controller:8776/v2/%$project_id$s

+--------------+------------------------------------------+

| Field | Value |

+--------------+------------------------------------------+

| enabled | True |

| id | 513e73819e14460fb904163f41ef3759 |

| interface | public |

| region | RegionOne |

| region_id | RegionOne |

| service_id | eb9fd245bdbc414695952e93f29fe3ac |

| service_name | cinderv2 |

| service_type | volumev2 |

| url | http://controller:8776/v2/%(project_id)s |

+--------------+------------------------------------------+

$ openstack endpoint create --region RegionOne \

volumev2 internal http://controller:8776/v2/%$project_id$s

+--------------+------------------------------------------+

| Field | Value |

+--------------+------------------------------------------+

| enabled | True |

| id | 6436a8a23d014cfdb69c586eff146a32 |

| interface | internal |

| region | RegionOne |

| region_id | RegionOne |

| service_id | eb9fd245bdbc414695952e93f29fe3ac |

| service_name | cinderv2 |

| service_type | volumev2 |

| url | http://controller:8776/v2/%(project_id)s |

+--------------+------------------------------------------+

$ openstack endpoint create --region RegionOne \

volumev2 admin http://controller:8776/v2/%$project_id$s

+--------------+------------------------------------------+

| Field | Value |

+--------------+------------------------------------------+

| enabled | True |

| id | e652cf84dd334f359ae9b045a2c91d96 |

| interface | admin |

| region | RegionOne |

| region_id | RegionOne |

| service_id | eb9fd245bdbc414695952e93f29fe3ac |

| service_name | cinderv2 |

| service_type | volumev2 |

| url | http://controller:8776/v2/%(project_id)s |

+--------------+------------------------------------------+

$ openstack endpoint create --region RegionOne \

volumev3 public http://controller:8776/v3/%$project_id$s

+--------------+------------------------------------------+

| Field | Value |

+--------------+------------------------------------------+

| enabled | True |

| id | 03fa2c90153546c295bf30ca86b1344b |

| interface | public |

| region | RegionOne |

| region_id | RegionOne |

| service_id | ab3bbbef780845a1a283490d281e7fda |

| service_name | cinderv3 |

| service_type | volumev3 |

| url | http://controller:8776/v3/%(project_id)s |

+--------------+------------------------------------------+

$ openstack endpoint create --region RegionOne \

volumev3 internal http://controller:8776/v3/%$project_id$s

+--------------+------------------------------------------+

| Field | Value |

+--------------+------------------------------------------+

| enabled | True |

| id | 94f684395d1b41068c70e4ecb11364b2 |

| interface | internal |

| region | RegionOne |

| region_id | RegionOne |

| service_id | ab3bbbef780845a1a283490d281e7fda |

| service_name | cinderv3 |

| service_type | volumev3 |

| url | http://controller:8776/v3/%(project_id)s |

+--------------+------------------------------------------+

$ openstack endpoint create --region RegionOne \

volumev3 admin http://controller:8776/v3/%$project_id$s

+--------------+------------------------------------------+

| Field | Value |

+--------------+------------------------------------------+

| enabled | True |

| id | 4511c28a0f9840c78bacb25f10f62c98 |

| interface | admin |

| region | RegionOne |

| region_id | RegionOne |

| service_id | ab3bbbef780845a1a283490d281e7fda |

| service_name | cinderv3 |

| service_type | volumev3 |

| url | http://controller:8776/v3/%(project_id)s |

+--------------+------------------------------------------+

注解

块设备存储服务每个服务实体都需要端点。

7.1.2、安装并配置组件

1、安装软件包

所有控制节点上安装

# yum install openstack-cinder

编辑 /etc/cinder/cinder.conf，同时完成如下动作：

在 [database] 部分，配置数据库访问：

[database]

connection = mysql+pymysql://cinder:CINDER_DBPASS@controller/cinder

用你为块设备存储数据库选择的密码替换 CINDER_DBPASS。

在``[DEFAULT]``部分，配置``RabbitMQ``消息队列访问权限：

[DEFAULT]

transport_url = rabbit://openstack:RABBIT_PASS@controller

用你在 “RabbitMQ” 中为 “openstack” 选择的密码替换 “RABBIT_PASS”。

在 “[DEFAULT]” 和 “[keystone_authtoken]” 部分，配置认证服务访问：

[DEFAULT]

auth_strategy = keystone

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller1:11211,controller2:11211,controller3:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = cinder

password = CINDER_PASS

在 [DEFAULT 部分，配置``my_ip`` 来使用控制节点的管理接口的IP 地址。

[DEFAULT]

my_ip = 10.129.0.11

在 [oslo_concurrency] 部分，配置锁路径：

[oslo_concurrency]

lock_path = /var/lib/cinder/tmp

初始化块设备服务的数据库：

# su -s /bin/sh -c "cinder-manage db sync" cinder

配置计算节点以使用块设备存储

编辑文件 /etc/nova/nova.conf 并添加如下到其中：

[cinder]

os_region_name = RegionOne

完成安装

重启计算API 服务：

# systemctl restart openstack-nova-api.service

启动块设备存储服务，并将其配置为开机自启：

2、启动并开启启动服务

# systemctl enable openstack-cinder-api.service openstack-cinder-scheduler.service

# systemctl start openstack-cinder-api.service openstack-cinder-scheduler.service

7.2、cinder节点安装

7.2.1、先决条件

在你安装和配置块存储服务之前，你必须准备好存储设备。

在存储节点实施这些步骤。

安装支持的工具包：

1、安装 LVM 包：

# yum install lvm2

启动LVM的metadata服务并且设置该服务随系统启动：

# systemctl enable lvm2-lvmetad.service

# systemctl start lvm2-lvmetad.service

注解

一些发行版默认包含了LVM。

2、创建逻辑卷卷组

创建LVM 物理卷 /dev/sdb：

# pvcreate /dev/sdb

Physical volume "/dev/sdb" successfully created

创建 LVM 卷组 cinder-volumes：

# vgcreate cinder-volumes /dev/sdb

Volume group "cinder-volumes" successfully created

块存储服务会在这个卷组中创建逻辑卷。

只有实例可以访问块存储卷组。但是，底层的操作系统管理着与这些卷相关联的设备。默认情况下，LVM卷扫描工具会扫描``/dev`` 目录，查找包含卷的块存储设备。如果项目在他们的卷上使用了LVM，扫描工具便会在检测到这些卷时尝试缓存它们，这可能会在底层操作系统和项目卷上产生各种问题。所以您必须重新配置LVM，让它扫描仅包含``cinder-volume``卷组的设备。编辑``/etc/lvm/lvm.conf``文件并完成下面的操作：

3、添加过滤器

在``devices``部分，添加一个过滤器，只接受``/dev/sdb``设备，拒绝其他所有设备：

devices {

filter = [ "a/sdb/", "r/.*/"]

每个过滤器组中的元素都以``a``开头，即为 accept，或以 r 开头，即为**reject**，并且包括一个设备名称的正则表达式规则。过滤器组必须以``r/.*/``结束，过滤所有保留设备。您可以使用 :命令:`vgs -vvvv` 来测试过滤器。

警告

如果您的存储节点在操作系统磁盘上使用了 LVM，您还必需添加相关的设备到过滤器中。例如，如果 /dev/sda 设备包含操作系统：

filter = [ "a/sda/", "a/sdb/", "r/.*/"]

类似地，如果您的计算节点在操作系统磁盘上使用了 LVM，您也必需修改这些节点上 /etc/lvm/lvm.conf 文件中的过滤器，将操作系统磁盘包含到过滤器中。例如，如果``/dev/sda`` 设备包含操作系统：

filter = [ "a/sda/", "r/.*/"]

4、安装并配置组件

安装软件包：

# yum install openstack-cinder targetcli python-keystone

编辑 /etc/cinder/cinder.conf，同时完成如下动作：

在 [database] 部分，配置数据库访问：

[database]

connection = mysql+pymysql://cinder:CINDER_DBPASS@controller/cinder

用你为块设备存储数据库选择的密码替换 CINDER_DBPASS。

在``[DEFAULT]``部分，配置``RabbitMQ``消息队列访问权限：

[DEFAULT]

transport_url = rabbit://openstack:RABBIT_PASS@controller

用你在 “RabbitMQ” 中为 “openstack” 选择的密码替换 “RABBIT_PASS”。

在 “[DEFAULT]” 和 “[keystone_authtoken]” 部分，配置认证服务访问：

[DEFAULT]

auth_strategy = keystone

[keystone_authtoken]

auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller1:11211,controller2:11211,controller3:11211

auth_type = password

project_domain_name = default

user_domain_name = default

project_name = service

username = cinder

password = CINDER_PASS

将 CINDER_PASS 替换为你在认证服务中为 cinder 用户选择的密码。

注解

在 [keystone_authtoken] 中注释或者删除其他选项。

在 [DEFAULT] 部分，配置 my_ip 选项：

[DEFAULT]

my_ip = 10.129.0.51

将其中的``MANAGEMENT_INTERFACE_IP_ADDRESS``替换为存储节点上的管理网络接口的IP 地址，例如样例架构 <overview-example-architectures>中所示的第一台节点 10.129.0.41 。

在``[lvm]``部分中，配置LVM后端，包括LVM驱动，``cinder-volumes``卷组，iSCSI 协议和适当的 iSCSI服务。如果``[lvm]``部分不存在，则创建它：

[lvm]

volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver

volume_group = cinder-volumes

iscsi_protocol = iscsi

iscsi_helper = lioadm

在 [DEFAULT] 部分，启用 LVM 后端：

[DEFAULT]

enabled_backends = lvm

注解后端名字是任意的。比如，本教程使用驱动的名字作为后端的名字。

在 [DEFAULT] 区域，配置镜像服务 API 的位置：

[DEFAULT]

glance_api_servers = http://controller:9292

在 [oslo_concurrency] 部分，配置锁路径：

[oslo_concurrency]

lock_path = /var/lib/cinder/tmp

完成安装¶

启动块存储卷服务及其依赖的服务，并将其配置为随系统启动：

5、启动并开机启动服务

# systemctl enable openstack-cinder-volume.service target.service

# systemctl start openstack-cinder-volume.service target.service

7.3、验证操作

控制节点上验证

获得 admin 凭证来获取只有管理员能执行的命令的访问权限：

$ . admin-openrc

列出服务组件以验证是否每个进程都成功启动：

$ openstack volume service list

+------------------+------------+------+---------+-------+----------------------------+

+------------------+------------+------+---------+-------+----------------------------+

+------------------+------------+------+---------+-------+----------------------------+