一、MongoDB 复制集
1、简介：
1、Mongodb复制集由一组Mongod实例（进程）组成，包含一个Primary节点和多个Secondary节点，Mongodb Driver（客户端）的所有数据都写入Primary，Secondary从Primary同步写入的数据，以保持复制集内所有成员存储相同的数据集，提供数据的高可用。
2、客户端在主节点写入数据，在从节点读取数据，主节点和从节点进行数据交互保证数据一致性，如果其中一个节点出了故障，其他发节点马上将业务接过来无需停机操作。
2、优势
让数据更安全；
搞数据可用性；
灾难恢复；
无停机维护（如备份，重建索引，故障转移）；
读缩放（额外的副本读取）；
副本集对应用程序是透明的。
3、 特点
N个几点的群集；
任何节点可作为主节点；
所有写入操作都在主节点上；
自动故障转移；
自动恢复。
二、部署复制集
1、实验环境
vmware15.5虚拟机
centos7.6
mongodb4.0版本
2、安装mongodb4.0
[root@mongodb yum.repos.d]# vim /etc/yum.repos.d/mongodb-org-4.0.repo
[mongodb-org-4.0]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.0/x86_64/
gpgcheck=0
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-4.0.asc
yum list
yum -y install mongodb-org
mkdir -p /data/mongodb/mongodb{
2,3,4} //创建数据目录
mkdir /data/mongodb/logs
touch /data/mongodb/logs/mongodb{
2,3,4}.log //创建日志文件
cd /data/mongodb/logs/
chmod 777 *.log //赋予权限
3、编辑主配置文件，开启复制集模块
# cp -p /etc/mongod.conf /etc/mongod2.conf
# vim /etc/mongod2.conf
path: /data/mongodb/logs/mongodb2.log //每个实例指定自己日志目录
dbPath: /data/mongodb/mongodb2 //每个实例指定自己的数据目录
port: 27018
bindIp: 0.0.0.0 //指定端口分别为27017、 27018、 27019 、 27020
.......
replication: //开启所有实例的复制参数：定义一个 replSetName: zhen
replSetName: zhen //这里的replset不要顶格 要加空格
4、启动实例
vim /etc/profile '改一下环境变量 不然-f不好使'
export PATH=/usr/local/mongodb/bin/:$PATH
mongod -f /etc/mongod.conf
mongo --port 27017
mongod -f /etc/mongod2.conf
mongo --port 27018
mongod -f /etc/mongod3.conf
mongo --port 27019
mongod -f /etc/mongod4.conf
mongo --port 27020
netstat -ntap | grep mongod
5、创建复制集
mongo //进入实例
> show dbs
> rs.status() //查看复制集状态
> cfg={
"_id":"zhen","members":[{
"_id":0,"host":"192.168.110.132:27017"},{
"_id":1,"host":"192.168.110.132:27018"},{
"_id":2,"host":"192.168.110.132:27019"}]}
// 定义cfg初始化参数 id 是之前配置文件里定义的，成员（3个 id分别定义 0 1 2 IP端口号27017、27018、27019）
> rs.initiate(cfg) //启动复制集
> rs.status() //查看此时可以查看到复制状态了
zhen:PRIMARY> rs.isMaster()
{
"hosts" : [
"192.168.110.132:27017",
"192.168.110.132:27018",
"192.168.110.132:27019",
"192.168.110.132:27020"
],
"setName" : "zhen",
"setVersion" : 2,
"ismaster" : true,
"secondary" : false,
"primary" : "192.168.110.132:27017",
"me" : "192.168.110.132:27017",
6、增加删除复制集
利用刚刚起初创建的第四个节点实验
rs.add("192.168.233.128:27020") //增加节点
rs.remove("192.168.233.128:27020") //删除节点
7、MongoDB 复制集的切换
当节点出现故障会自动切换到其他节点，管理员也可以手动切换：
ps aux | grep mongod
kill -9 61070 //关闭主节点 复制集会自动切换
> rs.status() //查看
手动切换
扫描二维码关注公众号，回复：
11650431 查看本文章
zhen:PRIMARY> rs.freeze(30) //PRIMARY暂停30s不参与选举
zhen:PRIMARY> rs.stepDown(60,30) //交出主节点位置，维持从节点状态不少于60秒，等待30秒使主节点和从节点日志同步
三、MongoDB复制集管理优化：
1、优化简介
优化包括：配置从节点可以读取数据、查看复制集状态、更改oplog大小、配置带认证的复制集。
（1）复制集的选举原理：
复制是基于操作日志oplog，相当于Mysql中的二进制日志，只记录发生改变的记录。复制是将主节点的oplog日志同步并应用到其他从节点的过程。
节点的类型分为标准（host）节点、被动（passive）节点和仲裁（arbiter）节点。
- 标准节点可能被选举为活跃（primary）节点，有选举权。
- 被动节点有完整副本，不可能成为活跃节点，有选举权。
- 仲裁节点不复制数据，不可能成为活跃节点，只有选举权。
标准节点和被动节点的区别：priority值高的是标准节点，低的是被动节点。
选举规则是票高者获胜，priority是优先权为01000的值，相当于额外增加01000的票数。选举结果：票高者获胜。若票数相同：数据新者获胜。
配置复制集的优先级：
2、配置优化
（1）创建四个实例 步骤同上
（2）配置各节点角色
先创建4个实例教程；
设置2个标准节点，一个被动节点，一个仲裁节点。
> cfg={
"_id":"zhen","members":[{
"_id":0,"host":"192.168.110.132:27017","priority":100},{
"_id":1,"host":"192.168.110.132:27018","priority":100},{
"_id":2,"host":"192.168.110.132:27019","priority":0},{
"_id":3,"host":"192.168.110.132:27020","arbiterOnly":true}]}
> rs.initiate(cfg) //初始化配置
zhen:SECONDARY> rs.isMaster() //查看复制集的状态
{
"hosts" : [
"192.168.110.132:27017",
"192.168.110.132:27018"
],
"passives" : [
"192.168.110.132:27019"
],
"arbiters" : [
"192.168.110.132:27020"
],
（3） 在数据库中进行简单的增删改查
zhen:PRIMARY> use shang
switched to db shang
zhen:PRIMARY> db.t1.insert({
"id":1,"name":"tom"})
WriteResult({
"nInserted" : 1 })
zhen:PRIMARY> db.t1.find()
{
"_id" : ObjectId("5f5c4bea88af06ce597fbc0a"), "id" : 1, "name" : "tom" }
zhen:PRIMARY> db.t1.insert({
"id":2,"name":"jack"})
WriteResult({
"nInserted" : 1 })
zhen:PRIMARY> db.t1.update({
"id":1},{
$set:{
"name":"dog"}})
WriteResult({
"nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
zhen:PRIMARY> db.t1.find()
{
"_id" : ObjectId("5f5c4bea88af06ce597fbc0a"), "id" : 1, "name" : "dog" }
{
"_id" : ObjectId("5f5c4c0588af06ce597fbc0b"), "id" : 2, "name" : "jack" }
zhen:PRIMARY> db.t1.remove({
"id":1})
WriteResult({
"nRemoved" : 1 })
zhen:PRIMARY> db.t1.find()
{
"_id" : ObjectId("5f5c4c0588af06ce597fbc0b"), "id" : 2, "name" : "jack" }
（4）查看集群日志
zhen:PRIMARY> use local
zhen:PRIMARY> show tables
oplog.rs //集群日志存放位置
replset.election
replset.minvalid
replset.oplogTruncateAfterPoint
startup_log
system.replset
system.rollback.id
zhen:PRIMARY> db.oplog.rs.find() //查看集群日志
会观察到上面的增删改查
（5）允许从节点进行数据读取
mongo --port 27018
> rs.slaveOk() //允许默认从节点读取数据
> show dbs
（6）查看从节点有哪些
zhen:SECONDARY> rs.printSlaveReplicationInfo() //查看同步的从节点有哪些
source: 192.168.110.132:27017
syncedTo: Sat Sep 12 2020 12:46:28 GMT+0800 (CST)
0 secs (0 hrs) behind the primary
source: 192.168.110.132:27019
syncedTo: Sat Sep 12 2020 12:46:28 GMT+0800 (CST)
0 secs (0 hrs) behind the primary
3、模拟主节点故障
mongod -f /etc/mongod.conf --shutdown //主节点服务关掉
mongo --port 27018 //进入到27018节点查看
> rs.isMaster() //查看节点的身份状态 主节点已经换到27018
zhen:PRIMARY> rs.isMaster()
{
"hosts" : [
"192.168.110.132:27017",
"192.168.110.132:27018"
],
"passives" : [
"192.168.110.132:27019"
],
"arbiters" : [
"192.168.110.132:27020"
],
"setName" : "zhen",
"setVersion" : 1,
"ismaster" : true,
"secondary" : false,
"primary" : "192.168.110.132:27018", //此时主节点已经变成27018了
"me" : "192.168.110.132:27018",
rs.stepDown() //让出主节点位置 可以手动进行让出节点
Sat Sep 12 2020 13:08:23 GMT+0800 (CST
这里需要注意的是，重新将27017节点开启后也不会去抢占27018的primary，除非27018出现问题了
当两台标准服务器同时挂掉也不会被动节点也不会成为primary 此时集群将失去功能
重新将两台标准节点开启后，集群将恢复原来的状态，两台标准节点抢占primary
4、查看集群日志文件
zhen:SECONDARY> rs.help() //查看命令
查看Master的oplog元数据信息：
> rs.printReplicationInfo() //查看日志文件大小 后期不够用的话可以改
zhen:SECONDARY> rs.printReplicationInfo()
configured oplog size: 990MB
log length start to end: 2224secs (0.62hrs)
oplog first event time: Sat Sep 12 2020 12:08:14 GMT+0800 (CST)
oplog last event time: Sat Sep 12 2020 12:45:18 GMT+0800 (CST)
now: Sat Sep 12 2020 12:45:25 GMT+0800 (CST)
4、更改oplog大小
oplog简介：oplog：operations log的简写，存储在一个特殊的数据库中（local），oplog就存储在其中的oplog.$main集合里面，这个集合是一个固定集合，新操作会自动替换旧的操作，以保证oplog不会超过预设的大小，其中的每个文档都代表主节点上执行的一个操作，oplog会包含所有对数据有修改的的操作（查询操作不会记录），默认下，oplog大小会占用64位的实例5%的可用磁盘空间。
mongo复制的过程：主节点应用业务操作修改到数据库中，然后记录这些操作到oplog中，从节点复制这些oplog，然后应用这些修改。ps：这些操作是异步的。如果从节点的操作已经被主节点落下很远，oplog日志在从节点还没执行完，oplog可能已经轮滚一圈了，从节点跟不上同步，复制就会停下，从节点需要重新做完整的同步，为了避免此种情况，尽量保证主节点的oplog足够大，能够存放相当长时间的操作记录。
（1）查看oplog
> use local
> db.oplog.rs.find() //查看.oplog
> db.oplog.rs.stats() //查看.oplog内容
> rs.printReplicationInfo() //查询oplog的大小默认990M及保存的操作记录持续的时长
（2）关闭服务将节点移除集群
mongo --port 27018
use admin
db.shutdownServer() //关闭服务
注销replication:相关启动参数，并修改port端口号27028：
vim /etc/mongod2.conf
#replication:
# replSetName: zhen '关闭集群功能'
port: 27028
（3）备份当前节点的所有oplog记录
[root@localhost etc]# mongod -f /etc/mongod.conf
[root@localhost etc]# mongodump --port 27028 --db local --collection 'oplog.rs'
2020-09-12T13:01:10.453+0800 writing local.oplog.rs to
2020-09-12T13:01:10.458+0800 done dumping local.oplog.rs (267 documents)
（4）删除原来的oplog
mongo --port 27028
> use local
> db.oplog.rs.drop() //删除原来的oplog
> db.runCommand( {
create: "oplog.rs", capped: true, size: (2 * 1024 * 1024 * 1024) } ) //创建新的
> use admin
> db.shutdownServer()
（5）重新开启集群功能
开启replication:相关启动参数，并修改port端口号27017：
vim /etc/mongod2.conf //将原来的恢复
（6）验证
重新进入节点查看日志信息 发现已经改成2048G
zhen:SECONDARY> use local
switched to db local
zhen:SECONDARY> show tables
oplog.rs
replset.election
replset.minvalid
replset.oplogTruncateAfterPoint
startup_log
system.replset
system.rollback.id
zhen:SECONDARY> db.printReplicationInfo()
configured oplog size: 2048MB
log length start to end: 30secs (0.01hrs)
oplog first event time: Sat Sep 12 2020 13:07:48 GMT+0800 (CST)
oplog last event time: Sat Sep 12 2020 13:08:18 GMT+0800 (CST)
now:
这里的更改日志存储大小只对单实例有效，要想全部更改还得一个个来
5、部署认证复制
1、创建登录root用户密码
zhen:PRIMARY> use admin
zhen:PRIMARY> db.createUser({
"user":"root","pwd":"123","roles":["root"]})
（2）生成4个实例的密钥文件：
cd /usr/bin/
echo "zhenrs key"> zhenrskey1
echo "zhenrs key"> zhenrskey2
echo "zhenrs key"> zhenrskey3
echo "zhenrs key"> zhenrskey4
chmod 600 zhenrskey{
1..4}
vim /etc/mongod.conf （mongod2.conf /mongod3.conf/mongod4.conf 都要改）
security:
keyFile: /usr/bin/kgcrskey1 //（分别为 zhenrskey2、zhenrskey3、zhenrskey4）
clusterAuthMode: keyFile
（3）4个实例依次重启：
mongod -f /etc/mongod.conf --shutdown
mongod -f /etc/mongod.conf
（4）进入主节点验证：
> show dbs //无法查看数据库
> rs.status() //无法查看复制集
> use admin //身份登录验证
> db.auth("root","123")
> rs.status() //可以查看数据库
> show dbs //可以查看复制集