手把手带你部署OpenStack环境

1. OpenStack 环境部署

1.1 部署准备

• 相关虚拟机资源

1、控制节点ct（controller)
CPU：双核双线程-CPU虚拟化开启
内存：8G 硬盘：60G+300G（CEPH块存储）
双网卡：VM1-（局域网）192.168.70.10  NAT-192.168.140.50
操作系统：Centos 7.6（1810）-最小化安装
 
2、计算节点c1(computer01)
CPU：双核双线程-CPU虚拟化开启
内存：8G 硬盘：60G+300G（CEPH块存储）
双网卡：VM1（局域网）-192.168.70.11  NAT-192.168.140.60
操作系统：Centos 7.6（1810）-最小化安装
 
3、计算节点c2(computer02)
CPU：双核双线程-CPU虚拟化开启
内存：8G 硬盘：60G+300G（CEPH块存储）
双网卡：VM1（局域网）-192.168.70.12  NAT-192.168.140.70
操作系统：Centos 7.6（1810）-最小化安装

• 安装时网卡的选择

注意：在安装过程中设置，选择Install CentOS 7
按tab键，输入命令 net.ifnames=0 biosdevname=0 
创建时修改网卡为eth0

• 软件选择最小化安装即可

• 确认网卡为 eth0 和 eth1

注意：

• 当多个用户同时提交创建虚拟机，只有一个节点压力大；
• 有多个节点，控制节点接收请求，并将请求发送给计算节点，进行调度
  如存在多个计算节点，用户可以并行操作。

1.2 部署思路

• 配置 操作系统+OpenStack运行环境
• 配置 OpenStack平台基础服务（rabbitmq，mariadb，memcache，Apache）
  rabbitmq：各个组件之间传递信息，消息队列
  mariadb：数据库
  memcache：身份验证存储令牌，数据库

2.配置OpenStack 基础环境

2.1 配置网卡环境

• 配置网卡信息并重启网卡

1）控制节点的网卡设置

vi /etc/sysconfig/network-scripts/ifcfg-eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth1

systemctl restart network
ip addr

2）两个计算节点的设置如下

• 查看网卡情况与网络联通性

2.2 所有节点上的基本操作

• 注意：在同步运行时，需留意其他节点是否出现错误，以控制节点为例子

2.2.1 关闭防火墙、核心防护

[root@ct ~]#systemctl stop firewalld
[root@ct ~]#setenforce 0
[root@ct ~]#systemctl disable firewalld
[root@ct ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

2.2.2 添加主机名映射

[root@ct ~]#vi /etc/hosts
...//添加以下映射
192.168.70.10  ct
192.168.70.11  c1
192.168.70.12  c2

2.2.3 免交互的配置

• 生成密钥对，并发送给其他节点（三台设备同步进行）

[root@ct ~]# ssh-keygen -t rsa		//出现提示信息，按回车即可
[root@ct ~]# ssh-copy-id ct
[root@ct ~]# ssh-copy-id c1
[root@ct ~]# ssh-copy-id c2

• 控制节点上，验证免交互是否配置完成

[root@ct ~]# ssh root@c1
Last login: Fri Jan 29 18:39:25 2021 from 192.168.70.1
[root@c1 ~]# exit
登出
Connection to c1 closed.
[root@ct ~]# ssh root@c2
Last login: Thu Jan 28 23:49:05 2021 from 192.168.70.1
[root@c2 ~]# exit
登出
Connection to c2 closed.

• 计算节点上验证
  
  

2.2.4 安装基础环境依赖包

• 也是面向所有设备进行安装

[root@controller ~]# yum -y install net-tools bash-completion vim gcc gcc-c++ make pcre  pcre-devel expat-devel cmake  bzip2 

##net-tools: 可以使用ifconfig命令
##bash-completion: 表示自动补全
##pcre和pcre-devel:  表示支持正则和devel库
##expat-devel: 表示Apache依赖包，C语言开发，解析XML文档的开发库

[root@controller ~]# yum -y install centos-release-openstack-train python-openstackclient openstack-selinux openstack-utils

//centos-release-openstack-train：保证安装更新openstack版本为最新版本t版

##python-openstackclient：openstack的python客户端
##因为openstack中的API大多数是python编写的，并且连接数据库，也需要python
##openstack-selinux：openstack核心安全防护
##openstack-utils：openstack其它util工具

注意：以上安装均需安装两次以上，避免漏装

2.3 设置时间同步

2.3.1 控制节点上的配置

• 控制节点上安装同步软件

[root@ct ~]# yum -y install chrony

• 在控制节点上设置为同步源

[root@ct ~]# vi /etc/chrony.conf 		//默认指向centos时间同步服务器
...//添加修改
#server 0.centos.pool.ntp.org iburst     //注释在线时间源
#server 1.centos.pool.ntp.org iburst     //注释在线时间源
#server 2.centos.pool.ntp.org iburst     //注释在线时间源
#server 3.centos.pool.ntp.org iburst     //注释在线时间源
server ntp.aliyun.com iburst   //设置为时间同步源

allow 192.168.70.0/24         //第26行下，添加为192.168.70网段提供时间同步

• 重启服务，更新时间同步源

[root@ct ~]# systemctl restart chronyd 	 //重启服务
[root@ct ~]# systemctl enable chronyd    //设置开机自启动
[root@ct ~]# chronyc sources             //更新时间同步源
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* 203.107.6.88                  2   6    17    37   +336us[+1188us] +/-   25ms

• 注意：iburst可以直接同步一个大的时间跨度

2.3.2 计算节点上的配置

• 计算节点上的配置几乎一样，这里以c1节点为例

安装软件
[root@c1 ~]# yum -y install chrony

修改配置文件
[root@c2 ~]# vi /etc/chrony.conf
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ct iburst		//注释在线时间源，并添加ct为时间同步源

重启服务
[root@c1 ~]# systemctl restart chronyd
[root@c1 ~]# systemctl enable chronyd

时间同步
[root@c1 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* ct                            3   6     7     2  +1030ns[+67838s] +/-   25ms

• 确认计算节点c2是否配置完成
  

2.4 设置任务计划

• 面向所有节点

[root@ct ~]# which chronyc
/usr/bin/chronyc
[root@ct ~]# crontab -e
*/30  *  *  *  *  /usr/bin/chronyc sources >> /var/log/chronyc.log

注意：时间间隔设置不要太小，尽量拉长，因为频次太快，导致日志量越来越大，存储空间受影响

3. OpenStack系统环境配置

3.1 安装，配置MariaDB

3.1.1 安装软件

[root@controller ~]# yum -y install mariadb mariadb-server python2-PyMySQL

//此包用于openstack的控制端连接mysql所需要的模块，如果不安装，则无法连接数据库；且此包只安装在控制端

[root@controller ~]# yum -y install libibverbs  //安装支持底层库文件

3.1.2 添加MySQL子配置文件

[root@ct ~]# vi /etc/my.cnf.d/openstack.cnf
[mysqld]
bind-address=192.168.70.10           //控制节点局域网地址
default-storage-engine=innodb        //默认存储引擎
innodb_file_per_table=on             //每张表独立表空间文件
max_connections=4096                 //最大连接数
collation-server=utf8_general_ci      //字符集
character-set-server=utf8

• 扩展

mysql 5.6（大版本）和mysql 5.7（小版本）区别：
大版本更新内容更为复杂
小版本更多是修复bug，打补丁
mysql 5.7把mysql 5.6 收购

在读写分离操作时 5.6与5.7，对应的默认库文件是 test mysql

客户端无法远程连接到数据库，由于5.7把 5.6 收购，故在5.7中进行调整：
底层库文件 test mysql 库文件
表空间（类似名称空间）
名称文件：是一种相互独立的隔离环境

3.1.3 开启服务并设置开机自启动

[root@ct ~]# systemctl start mariadb
[root@ct ~]# systemctl enable mariadb

3.1.4 执行MariaDB 安全配置脚本

[root@controller ~]# mysql_secure_installation

Enter current password for root (enter for none):     //当前密码，没有回车

Set root password? [Y/n] y                   //是否设置密码，设置密码为 abc123
New password: 
Re-enter new password: 
Password updated successfully!
Reloading privilege tables..
 ... Success!

Remove anonymous users? [Y/n] y       //是否移除匿名账户，移除
 ... skipping.
 
Disallow root login remotely? [Y/n] n     //不允许root账户远程登录

Remove test database and access to it? [Y/n] y     //是否移除test数据库，空数据库
 - Dropping test database...
 ... Success!
 - Removing privileges on test database...
 ... Success!

Reload privilege tables now? [Y/n] y         //是否重置权限的表，重置
 ... Success!

3.1.5 登录数据库并验证

[root@ct ~]# mysql -uroot -pabc123		//登录数据库

3.2 安装RabbitMQ（消息队列）

• 所有创建虚拟机的指令，控制端都会发送到rabbitmq，node节点监听rabbitmq

3.2.1 RabbitMQ的相关配置

（1）安装软件

[root@ct ~]# yum -y install rabbitmq-server

（2）启动RabbitMQ服务，并设置其开机启动

[root@ct ~]# systemctl enable rabbitmq-server
Created symlink from /etc/systemd/system/multi-user.target.wants/rabbitmq-server.service to /usr/lib/systemd/system/rabbitmq-server.service.
[root@ct ~]# systemctl start rabbitmq-server

（3）创建消息队列用户，用于controler和node节点连接rabbitmq的认证

[root@ct ~]# rabbitmqctl add_user openstack RABBIT_PASS
Creating user "openstack"

（4）配置openstack用户的操作权限(正则，配置读写权限）

[root@ct ~]# rabbitmqctl set_permissions openstack ".*" ".*" ".*"
Setting permissions for user "openstack" in vhost "/"

为什么需要配置读写权限：
Nova与Keystone进行通讯
1.rabbidb，把nova请求读取写入到本地内部
2.Nova把请求相关写入到Rabbitmq的内部
3.把消息传递过程中，也会进行读写操作
故授予独立的用户身份，读写权限

（5）查询端口

[root@ct ~]# netstat -anptu | grep 5672
tcp        0      0 0.0.0.0:25672           0.0.0.0:*               LISTEN      16125/beam.smp      
tcp6       0      0 :::5672                 :::*                    LISTEN      16125/beam.smp

//5672是Rabbitmq默认端口，25672是Rabbit的测试工具CLI的端口

（6）查看rabbitmq插件列表

[root@ct ~]# rabbitmq-plugins list

（7）开启rabbitmq的web管理界面的插件，端口为15672

[root@ct ~]# rabbitmq-plugins enable rabbitmq_management
[root@ct ~]# netstat -anptu | grep 5672
tcp        0      0 0.0.0.0:25672           0.0.0.0:*               LISTEN      16125/beam.smp      
tcp        0      0 0.0.0.0:15672           0.0.0.0:*               LISTEN      16125/beam.smp      
tcp        0      0 192.168.70.10:37068     192.168.70.10:25672     TIME_WAIT   -                   
tcp6       0      0 :::5672                 :::*                    LISTEN      16125/beam.smp

3.2.2 访问验证

• 在浏览器上访问
  http://192.168.70.10:15672
  默认账号和密码都为guest
  
  

3.3 安装memcached

3.3.1 memcached概述

作用：

• 安装memcached是用于存储session信息；服务身份验证机制使用Memcached来缓存令牌 在登录openstack的dashboard时，会产生一些session信息，这些session信息会存放到memcached中

memcached介绍：

1.Memcached是一个自由开源的， 高性能，分布式内存对象缓存系统。

2.Memcached是以LiveJourmal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。现在已成为
mixi、hatena、 Facebook. Vox、 LiveJournal等众多服务中提高Web应用扩展性的重要因素

3.Memcached是一种基于内存的key-value存储，用来存储小块的任意数据(字符串、对象)。这些数据可以是数据库调用、
API调用或者是页面渲染的结果

4.Memcached简洁而强大。它的简洁设计便于快速开发，减轻开发难度,解决了大数据量缓存的很多问题。它的API兼容
大部分流行的开发语言。

本质上，它是一个简洁的key-value存储系统。
一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。
并且在BAT里，redis已经逐渐取代了memcached，成为分布式场景广泛使用的缓存方案

3.3.2 配置memcached

• 安装软件

[root@ct ~]# yum install -y memcached python-memcached
//python-*模块在OpenStack中起到连接数据库的作用

• 修改memcached配置文件

[root@ct ~]# vi /etc/sysconfig/memcached
PORT="11211"      //默认端口号
USER="memcached"  //默认账户名
MAXCONN="1024"    //最大连接数
CACHESIZE="64"    //缓存大小
OPTIONS="-l 127.0.0.1,::1,ct"		//修改，添加主机名ct

• 重启服务，查看端口

[root@ct ~]# vi /etc/sysconfig/memcached
[root@ct ~]# systemctl enable memcached
Created symlink from /etc/systemd/system/multi-user.target.wants/memcached.service to /usr/lib/systemd/system/memcached.service.
[root@ct ~]# systemctl start memcached
[root@ct ~]# netstat -anptu | grep 11211
tcp        0      0 192.168.70.10:11211     0.0.0.0:*               LISTEN      17659/memcached     
tcp        0      0 127.0.0.1:11211         0.0.0.0:*               LISTEN      17659/memcached     
tcp6       0      0 ::1:11211               :::*                    LISTEN      17659/memcached

3.4 安装etcd

3.4.1 etcd特点

简单： 基于HTTP+JSON的API让你可以用CURL命令就可以轻松使用。
安全： 可以选择SSL客户认证机制。
快速： 每个实例每秒支持一千次写操作。
可信： 使用Ralf算法充分实现了分布式。

3.4.2 应用场景

• 服务发现
• 消息发布和订阅
• 负载均衡
• 分布式通知与协调
• 分布式锁
• 分布式队列
• 集群监控与Leader竞选

扩展：

为什么使用etcd而不用Zookeeper？

相比较之下，Zookeeper有如下缺点:
1.复杂。 Zookeeper的部署维护复杂，管理员必须掌握一系列的知识和技能；而Paxos强一致性算法也是素来以复杂难懂
而闻名于世；另外，Zookeeper的使用也比较复杂，需要安装客户端，官方只提供Java和C的两种语言的接口。

2.Java编写。这里不是对Java有偏见，而是Java本身就偏向重型应用，它会引入大量的依赖。而运维人员则普遍希望机器
集群能尽可能的简单，维护起来也不容易出错

3.发展缓慢。 Apache基金会项目特有的“Apache Way”在开源界也饱受争议，其中一大原因就是由于基金会庞大的结构
和松散的管理导致项目发展缓慢。

etcd作为一个后起之秀，其优点也很明显:
1.简单。 使用Go编写部署简单；使用HTTP作为接口使用简单；使用Raft算法保证强一致性让用户易于理解。

2.数据持久化。 etcd默认数据一更新就进行持久化。

3.安全。 etcd支持SSL客户端安全认证。

3.4.3 安装etcd的配置

• 安装软件

[root@ct ~]# yum -y install etcd

• 修改etcd配置文件

[root@ct ~]# vi /etc/etcd/etcd.conf
...//修改以下配置
5	ETCD_LISTEN_PEER_URLS="http://192.168.100.11:2380"
6	ETCD_LISTEN_CLIENT_URLS="http://192.168.100.11:2379"
9	ETCD_NAME="controller"
20	ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.100.11:2380" 
21	ETCD_ADVERTISE_CLIENT_URLS="http://192.168.100.11:2379" 
26	ETCD_INITIAL_CLUSTER="controller=http://192.168.100.11:2380"
27	ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-01"
28	ETCD_INITIAL_CLUSTER_STATE="new" 

• 启动服务并设置开机自启

[root@ct ~]# systemctl enable etcd
Created symlink from /etc/systemd/system/multi-user.target.wants/etcd.service to /usr/lib/systemd/system/etcd.service.
[root@ct ~]# systemctl start etcd
[root@ct ~]# systemctl status etcd

• 检测端口

[root@ct ~]# netstat -anpt | grep 2379