简介
Chef
Chef 提供了一套自动化安装和配置软件的工具。它允许开发者以模块化的方式（cookbook）来定义软件的安装和配置流程（recipe），以及流程中的可定制参数（attribute）。当需要在特定的环境中创建软件服务时，用户指定模块名称以及相应的参数值，Chef 会负责在目标环境中执行预定义的安装和配置流程。
使用 Chef 需要安装 Chef Server 以及 Chef Development Kit（ChefDK）。Chef Server 负责保存开发者提供的软件安装和配置流程定义，并在目标机器上执行。ChefDK 则是开发者用来定义软件安装和配置流程的工具。
Mariadb Galera Cluster
Mariadb Galera Cluster 是 Mariadb 提供的一种同步多主节点的集群模式。这种模式与传统的 Maraidb Replication 功能的区别主要在于：
- Galera Cluster 中的所有节点都在提供数据库服务。而 Replication 模式下只有一个主节点在提供数据库服务，其余的 Slave 节点虽然与主节点进行数据同步，但在其成为主节点之前并不提供数据库服务。
- Galera Cluster 下的数据库操作都是同步的，也就是当一个事务结束时，所有节点上都已经包含了这一事务所做的修改。换言之，在任何一个时刻，集群中每个节点上的数据都是同步的。而在传统的 Replication 模式下，主从节点的数据同步是独立于修改数据的事务，同步通常存在一定的时间延迟。
部署准备
准备工作主要包括：
- 准备至少三台机器并安装 RHEL（ Enterprise Linux）操作系统。这里的机器可以是物理机也可以是虚拟机。本文所使用的 RHEL 版本为 7.0，若使用 6.x 及以下版本，所使用的命令会略有不同。可以到Redhat 官网下载安装介质。
- 下载 Mariadb Galera Cluster 的安装介质。推荐使用 Mariadb10.1 以上的版本，因为从这一版本开始，Galera Cluster 已经被包含在 Mariadb Server 的安装介质中，而在以前的版本中则是作为独立的安装包下载的。可以从Mariadb 官网下载。
- 在一台机器上安装 Chef Server 以及 ChefDK，建议使用 Chef Server 12.6 和 ChefDK 0.14 及以上版本，安装介质可以从Chef 官网下载。
- 在 Chef Server 所在的机器上配置 yum 源以及 HTTP Server。这主要是针对在无法访问 Internet 的环境下，能利用自己设立的 yum 源方便的安装软件。HTTP Server 可以使用 RHEL 自带的 Apache HTTP Server，或其他同类软件。
自动安装流程
本文所描述的自动安装流程的目标是在至少两台机器上安装 Mariadb Galera Cluster，主要包含如下几个步骤：
- 添加 Chef Server 上提供的 yum 源并安装 Mariadb。
- 开启 Cluster 节点之间的互相通信，主要是在操作系统上配置域名解析以及开放相应的防火墙端口。
- 开启 Galera Cluster。
- 修改操作系统上的 Mariadb 服务启动方式。注意虽然 Galera Cluster 里所有节点都可以同时提供数据库服务，但依照它们被加入 Cluster 的时间顺序，第一个节点的启动方式和其余节点有所不同。
详细实现
首先创建一个名为 mariadb-galera-cluster 的 cookbook 和名为 test.json 的 environment 文件，如清单 1 所示。创建 cookbook 会在当前目录下生成一个同名的目录，后续定义的大部分文件都放在这个目录下。environment 文件将包含所有针对当前环境的参数值，例如当前环境下节点的 IP 地址和域名。创建完成后的目录结构如清单 2 所示。
清单 1. 创建 cookbook 和 environment
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
knife cookbook create mariadb-galera-cluster
cat environments/test.json <<EOF
{
"name": "test",
"description": "",
"cookbook_versions": {
},
"json_class": "Chef::Environment",
"chef_type": "environment",
"default_attributes": {
},
"override_attributes": {
}
}
EOF
|
清单 2. 目录结构
|
1
2
3
4
5
6
7
8
9
10
11
|
..
environments/
test.json
cookbooks/
mariadb-galera-cluster/
recipes/
default.rb
templates/
default/
attributes/
default.rb
|
安装 Mariadb
利用在 Chef Server 机器上配置的 yum 源来安装 Mariadb，需要在目标机器的/etc/yum.repos.d 目录下加入相应的配置文件。将该配置文件的内容预先定义在 mariadb-galera-cluster/templates/default/chef_server.repo.erb 中，如清单 2 所示。同时，在 mariadb-galera-cluster/recipes/default.rb 中定义这一部分的安装流程，如清单 3 所示。配置好 yum 源后，即可通过 yum 命令安装预先下载好的 Mariadb 安装介质。
安装完成后，可以执行一些基本的数据库初始化任务，例如设置 root 用户的密码和权限，这些任务可以定义在一个 sql 文件中。另外也可以通过编辑/etc/my.cnf 对 Mariadb 进行一些基本的配置。全部完成后重启 Mariadb 的服务。
清单 3. templates/default/chef_server.repo.erb，定义 yum 配置
|
1
2
3
4
5
6
|
[chef_server_repo]
name=chef_server_repo
baseurl=http://chefserver:80/yum_repo
enabled=1
gpgcheck=0
sslverify=0
|
清单 4. recipes/default.rb，安装 Mariadb
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
template "/etc/yum.repos.d" do
source "chef_server.repo.erb"
owner 'root'
mode 0755
action :create
end
...
execute "Install Mariadb" do
command "yum clean metadata && yum -y install mariadb-server"
end
...
bash "Config database settings..." do
cwd "#{CWD}"
user "root"
group "root"
code <<-EOF
printf "\n[mysqld]\nlower_case_table_names=1" >> /etc/my.cnf
systemctl enable mariadb.service
systemctl start mariadb.service
mysql < init.sql
systemctl restart mariadb.service
EOF
end
|
开启 Cluster 节点的相互通信
要使得 Mariadb Galera Cluster 的节点能够进行数据同步，各节点之间必须能够互相通信。这需要各节点能够解析彼此的域名并能访问相应的网络端口。因为 cluster 中节点的域名和 IP 地址是因具体环境而异的，因此将这些信息定义在 environment 文件里。
清单 5. environments/test.json，定义 cluster 成员
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
{
"name": "test",
"description": "",
"cookbook_versions": {
},
"json_class": "Chef::Environment",
"chef_type": "environment",
"default_attributes": {
"mariadb-galera-cluster": {
"cluster": {
"members": {
"nodeA": "10.0.0.11",
"nodeB": "10.0.0.12"
},
"master": "nodeA"
}
}
}
|
清单 6. recipes/default.rb，域名解析和开启端口
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
node['mariadbp4']['cluster']['members'].each_pair do |name, ip|
bash "Resolve #{name} to #{ip}." do
user "root"
group "root"
code <<-EOF
name=#{name}
echo "#{ip} ${name%%.*} $name" >> /etc/hosts
EOF
not_if "[ #{name} == `hostname -s` ]"
end
end
bash "Open ports on OS firewall"
user "root"
group "root"
code <<-EOF
firewall-cmd --zone=public --add-service=mariadb --permanent
firewall-cmd --zone=public --add-port=3306/tcp --permanent
firewall-cmd --zone=public --add-port=4567/tcp --permanent
firewall-cmd --zone=public --add-port=4568/tcp --permanent
firewall-cmd --zone=public --add-port=4444/tcp --permanent
firewall-cmd --zone=public --add-port=4567/udp --permanent
firewall-cmd --reload
EOF
end
|
配置 Mariadb Galera Cluster
在 Mariadb 中开启 Galera Cluster 需要修改相应的配置文件，通常是/etc/my.cnf.d/server.cnf。这里将所需配置预先定义为 template，然后用它覆盖原来的配置文件，如清单 7、清单 8 所示。
清单 7. templates/default/server.cnf.erb，Mariadb 配置文件
|
1
2
3
4
5
6
7
8
|
[galera]
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_address=gcomm://<%= @node.mariadbp4.cluster.members.keys.join(',') %>
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
bind-address=0.0.0.0
|
清单 8. recipes/default.rb，修改 Mariadb 配置文件
|
1
2
3
4
5
6
7
|
template "/etc/my.cnf.d/server.cnf" do
source "server.cnf.erb"
owner "root"
mode 0644
action :create
not_if "grep '^wsrep_on=ON' /etc/my.cnf.d/server.cnf"
end
|
修改操作系统服务
在 RHEL7 的中，操作系统服务是通过 systemd 来管理的，因为 Mariadb Galera Cluster 需要修改启动 Mariadb 时的参数，因此需要对 systemd 启动 Mariadb 时所使用的命令进行修改。因为 Mariadb Galera Cluster 对第一个启动的节点（又称为 master 节点）需要采用特定的启动命令，因此这里准备两份 systemd 的配置文件，如清单 9、清单 10 所示。在 recipe 中，首先判断当前节点是否 master 节点，然后用相应的配置文件作为当前节点的 systemd 的 Mariadb 服务启动配置文件。最后重启 Mariadb 服务。
清单 9. templates/default/systemd.master.conf.erb，master 节点的配置文件
|
1
2
3
|
[Service]
ExecStart=
ExecStart=/usr/sbin/mysqld --wsrep-new-cluster
|
清单 10. templates/default/systemd.master.conf.erb，slave 节点的配置文件
|
1
2
3
|
[Service]
ExecStart=
ExecStart=/usr/sbin/mysqld --wsrep_cluster_address=gcomm://<%= node.mariadbp4.cluster.master =%>
|
清单 11. recipes/default.rb，修改 systemd 配置文件
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
master=node['mariadbp4']['cluster']['master']
bash "Add cluster conf for mariadb service in systemd and restart service..." do
cwd "/etc/systemd/system"
user "root"
code <<-EOF
if [ ! -d "$service_name.d" ]; then
mkdir "mariadb.service.d"
fi
if [ `hostname -s` == #{master} ]; then
mv /tmp/master.conf mariadb.service.d/cluster.conf
else
mv /tmp/slave.conf mariadb.service.d/cluster.conf
fi
systemctl daemon-reload
systemctl restart $service_name
EOF
not_if "[[ -f mysql.service.d/cluster.conf || -f mariadb.service.d/cluster.conf ]]"
end
|
安装
首先将上面所定义部署流程上传到 Chef Server，包括 cookbook 和 environment。然后告诉 Chef Server 在目标机器上执行相应的部署流程，如清单 12 所示。这里 10.0.0.11 和 10.0.0.12 为组成 Cluster 的两台机器的 IP，注意执行命令时请确保当前目录为 mariadb-galera-cluster 的上级目录，
清单 12. 安装 Mariadb Galera Cluster 所需命令
|
1
2
3
4
|
knife cookbook upload -a -o .
knife environment from file environments/test.json
knife bootstrap 10.0.0.11 -x root -P password -r "recipe[mariadb-galera-cluster]" -E test
knife bootstrap 10.0.0.12 -x root -P password -r "recipe[mariadb-galera-cluster]" -E test
|
验证
要验证 Mariadb Galera Cluster 的运行状况，可以通过执行如清单 13 所示的命令来实现。如果一切正常，可以看到如图 1 所示的结果。
清单 13. 查看 Mariadb Galera Cluster 的运行情况
|
1
2
|
mysql --user=root --password=xxx
show status like 'wsrep_%'
|
图 1. Mariadb Galera Cluster 的运行状态
小结
在企业级的应用中，数据库的高可用性是不可或缺的，而 Mariadb Galera Cluster 作为 Mariadb 自带的 Cluster 功能，从功能上可以满足用户的这一要求。而本文所描述的自动化部署步骤，可以快速的帮助用户在多个节点上部署 Mariadb Galera Cluster，极大的节省了创建 Mariadb Galera Cluster 所需的时间。
参考资源
- Chef 官方网站：介绍了 Chef 的功能、使用方法和 API。
- Mariadb 官方网站：全面介绍了 Galera Cluster，并提供下载。
- Yum 介绍：介绍了如何配置 yum 源。
- Systemd 官方网站：介绍了 systemd 是如何被用来管理操作系统的。
- Firewalld 官方网站：介绍了如何使用 firewalld 配置防火墙。