MongoDB 主从复制，副本集，分片（八）

其他 2019-01-25 16:38:05 阅读次数: 0

原文：http://blog.csdn.net/canot/article/details/50739359

一、mongodb主从复制配置

主从复制是mongodb最常用的复制方式,也是一个简单的数据库同步备份的集群技术,这种方式很灵活.可用于备份,故障恢复,读扩展等.
最基本的设置方式就是建立一个主节点和一个或多个从节点,每个从节点要知道主节点的地址. 结构图: 

这里写图片描述

配置主从复制的注意点:

  • 在数据库集群中要明确的知道谁是主服务器,主服务器只有一台.
  • 从服务器要知道自己的数据源也就是对应的主服务是谁.
  • –master用来确定主服务器,–slave 和 –source 来控制从服务器

这里在本机上用一主一从实现mongodb的复制:

master.conf:

 

  1. dbpath = /home/wang/mongodbDATA/master #主数据库地址

  2. port = 8888 #主数据库端口号

  3. bind_ip = 127.0.0.1 #主数据库所在服务器

    扫描二维码关注公众号，回复： 5066287 查看本文章

  4. master = true #确定我是主服务器

slave.conf:

 

  1. dbpath = /home/wang/mongodbDATA/slave #从数据库地址

  2. port = 7777 #从数据库端口号

  3. bind_ip = 127.0.0.1 #从数据库所在服务器

  4. source = 127.0.0.1:8888 #确定主数据库端口

  5. slave = true #确定自己是从服务器

分别启动两台服务器:

 

  1. mongod --config master.conf

  2.  

  3. mongod --config slave.conf

启动两个shell客户端:

 

  1. mongo 127.0.0.1:8888

  2. mongo 127.0.0.1:7777

我们给主服务器添加数据:

 

  1. >use master_slave

  2. > function add(){

  3. ... var i = 0;

  4. ... for(;i<50;i++){

  5. ... db.persons.insert({"name":"wang"+i})

  6. ... }

  7. ... }

  8. > add()

  9. >db.persons.find()

  10.  

  11. .....一批数据

如上的操作比较简单，此处不在多说。现在主服务器添加了50条数据后，我们打开从服务器，会惊奇的发现，从服务器中也存在如上的50条数据。

查询从数据库客户端查询数据是报

> show dbs
2017-12-21T15:19:57.381+0800 E QUERY    [thread1] Error: listDatabases failed:{
        "ok" : 0,
        "errmsg" : "not master and slaveOk=false",
        "code" : 13435,
        "codeName" : "NotMasterNoSlaveOk"
} :

解决：https://www.cnblogs.com/heiing/archive/2012/08/04/2622953.html

 

  1. > rs.slaveOk()

  2. > show dbs

  3. admin 0.000GB

  4. local 0.000GB

  5. master_slave 0.000GB

  6. user 0.000GB

  7. > use user

  8. switched to db user

  9. > db.persons.find()

  10. { "_id" : ObjectId("5a3b6050855834eac560fd24"), "name" : "wang0" }

  11. { "_id" : ObjectId("5a3b6050855834eac560fd25"), "name" : "wang1" }

  12. { "_id" : ObjectId("5a3b6050855834eac560fd26"), "name" : "wang2" }

  13. { "_id" : ObjectId("5a3b6050855834eac560fd27"), "name" : "wang3" }

  14. { "_id" : ObjectId("5a3b6050855834eac560fd28"), "name" : "wang4" }

  15. { "_id" : ObjectId("5a3b6050855834eac560fd29"), "name" : "wang5" }

  16. { "_id" : ObjectId("5a3b6050855834eac560fd2a"), "name" : "wang6" }

  17. { "_id" : ObjectId("5a3b6050855834eac560fd2b"), "name" : "wang7" }

  18. { "_id" : ObjectId("5a3b6050855834eac560fd2c"), "name" : "wang8" }

  19. { "_id" : ObjectId("5a3b6050855834eac560fd2d"), "name" : "wang9" }

  20. { "_id" : ObjectId("5a3b6050855834eac560fd2e"), "name" : "wang10" }

  21. { "_id" : ObjectId("5a3b6050855834eac560fd2f"), "name" : "wang11" }

  22. { "_id" : ObjectId("5a3b6050855834eac560fd30"), "name" : "wang12" }

  23. { "_id" : ObjectId("5a3b6050855834eac560fd31"), "name" : "wang13" }

  24. { "_id" : ObjectId("5a3b6050855834eac560fd32"), "name" : "wang14" }

  25. { "_id" : ObjectId("5a3b6050855834eac560fd33"), "name" : "wang15" }

  26. { "_id" : ObjectId("5a3b6050855834eac560fd34"), "name" : "wang16" }

  27. { "_id" : ObjectId("5a3b6050855834eac560fd35"), "name" : "wang17" }

  28. { "_id" : ObjectId("5a3b6050855834eac560fd36"), "name" : "wang18" }

  29. { "_id" : ObjectId("5a3b6050855834eac560fd37"), "name" : "wang19" }

  30. Type "it" for more

  31. >

此时，我们得到一个结论: 

当配置完主从服务器后，一但主服务器上的数据发生变化，从服务器也会发生变化

主从复制的原理–oplog

在主从结构中，主节点的操作记录成为oplog（operation log）。oplog存储在一个系统数据库local的集合oplog.$main中，这个集合的每个文档都代表主节点上执行的一个操作。
从服务器会定期从主服务器中获取oplog记录，然后在本机上执行！对于存储oplog的集合，MongoDB采用的是固定集合，也就是说随着操作过多，新的操作会覆盖旧的操作！

主从复制的其他设置项

–only 从节点指定复制某个数据库,默认是复制全部数据库 
–slavedelay 从节点设置主数据库同步数据的延迟(单位是秒) 
–fastsync 从节点以主数据库的节点快照为节点启动从数据库 
–autoresync 从节点如果不同步则从新同步数据库(即选择当通过热添加了一台从服务器之后，从服务器选择是否更新主服务器之间的数据) 
–oplogSize 主节点设置oplog的大小(主节点操作记录存储到local的oplog中)

利用shell动态的添加或删除从节点:

我们在我们上面的从节点的local数据库中，存在一个集合sources。这个集合就保存了我这个服务器的主服务器是谁。

这里写图片描述

不难看出从服务器中关于主服务器的信息全部存到local的sources的集合中 
我们只要对集合进行操作就可以动态操作主从关系 
挂接主服务器:操作之前只留下从数据库服务 
db.sources.insert({“host”:”127.0.0.1:8888”}) 
删除已经挂接的主节点:操作之前只留下从数据库服务 
db.sources.remove({“host”:”127.0.0.1:8888”}) 

二,MongoDB的副本集:

1.副本集的概念:

副本集有点类似主从复制，不过跟真正的主从复制还是有两点区别的。

  • 该集群没有特定的主数据库。

  • 如果哪个主数据库宕机了，集群中就会推选出一个从属数据库作为主数据库顶上，这就具备了自动故障恢复功能.

结构图: 

这里写图片描述

  • 第一张图表明A是活跃的B和C是用于备份的
  • 第二张图当A出现了故障,这时候集群根据权重算法推选出B为活跃的数据库
  • 第三张图当A恢复后他自动又会变为备份数据库

如上三台机器的conf配置文件为:

A.conf

 

  1. dbpath = /home/wang/mongodbDATA/A

  2. port = 1111 #端口

  3. bind_ip = 127.0.0.1 #服务地址

  4. replSet = child/127.0.0.1:2222 #设定同伴 child为集群名称

B.conf

 

  1. dbpath = /home/wang/mongodbDATA/B

  2. port = 2222

  3. bind_ip = 127.0.0.1

  4. replSet = child/127.0.0.1:3333

C.conf

 

  1. dbpath = /home/wang/mongodbDATA/C

  2. port = 3333

  3. bind_ip = 127.0.0.1

  4. replSet = child/127.0.0.1:1111

如上可以看出,ABC三台服务器之间形成一个闭环。 
启动如上三台服务器。

2.初始化副本集

我们随意链接上面三个服务的一个shell客户端。 
执行如下命令:

 

  1. config = {_id: 'child', members: [{

  2. "_id":1,

  3. "host":"127.0.0.1:1111"

  4. },{

  5. "_id":2,

  6. "host":"127.0.0.1:2222"

  7. },{

  8. "_id":3,

  9. "host":"127.0.0.1:3333"

  10. }]

  11. }

  12.  
  13.  
  14.  

  15.  rs.initiate(config);

在以前的2.0系统中是这样执行的:

 

  1. use admin #必须进admin

  2. db.runCommand({"replSetInitiate":

  3. {

  4. "_id":'child',

  5. "members":[{

  6. "_id":1,

  7. "host":"127.0.0.1:1111"

  8. },{

  9. "_id":2,

  10. "host":"127.0.0.1:2222"

  11. },{

  12. "_id":3,

  13. "host":"127.0.0.1:3333"

  14. }]

  15. }

  16. })

此时你会发现你当前的shell客户端的前缀变了。 
我们分别链接其余的两个客户端:现在我们观察到三个Shell客户端的前缀：

 

  1. child:PRIMARY>

  2. child:SECONDARY>

  3. child:SECONDARY>

其中child:PRIMARY>表示活跃节点。其余为备份节点。注意:只有活跃节点才能进行查询数据库的信息操作，备份节点不能进行会报错
在活跃的主机上可以进行 rs.status() 来查看所有状态:

这里写图片描述

4.搭建完毕，来进行验证

主从服务器数据是否同步，从服务器没有读写权限

  • a:向主服务器写入数据 ok 后台自动同步到从服务器，从服务器有数据
  • b:向从服务器写入数据 false 从服务器不能写
  • c:主服务器读取数据 ok
  • d:从服务器读取数据 false 从服务器不能读

关闭主服务器，从服务器是否能顶替 
此时你关掉活跃节点的服务。此时你会发现剩余的两台机器有一台变为活跃节点了。

5.配置副本集的其他配置参数:

节点和初始化高级参数

  • standard 常规节点:参与投票有可能成为活跃节点
  • passive 副本节点:参与投票,但是不能成为活跃节点
  • arbiter 仲裁节点:只是参与投票不复制节点也不能成为活跃节点

高级参数

  • Priority 0到1000之间 ,0代表是副本节点 ,1到1000是常规节点
  • arbiterOnly : true 仲裁节点

用法

 

  1. members":[{

  2. "_id":1,

  3. "host":"127.0.0.1:1111“,

  4. arbiterOnly : true

  5. }]”

优先级相同时候仲裁组建的规则 
这里写图片描述

三,分片

分片技术，跟关系数据库的表分区类似，我们知道当数据量达到T级别的时候，我们的磁盘，内存就吃不消了，或者单个的mongoDB服务器已经不能满足大量的插入操作,针对这样的场景我们该如何应对。mongoDB提供的分片技术来应对这种瓶颈。
当然分片除了解决空间不足的问题之外，还极大的提升的查询速度。

1.分片的概念

mongodb采用将集合进行拆分，然后将拆分的数据均摊到几个片上的一种解决方案。 
结构图: 

这里写图片描述

用户：代表客户端，客户端肯定说，你数据库分片不分片跟我没关系，我叫你干啥就干啥，没什么好商量的。

路由: mongos.首先我们要了解”片键“的概念，也就是说拆分集合的依据是什么？按照什么键值进行拆分集合….好了，mongos就是一个路由服务器，它会根据管理员设置的“片键”将数据分摊到自己管理的mongod集群，数据和片的对应关系以及相应的配置信息保存在”config服务器”上。

配置服务器:mongod普通的数据库，一般是一组而图中我们只画了一个，由路由管理。它的作用是记录对数据分片的规则，存储所有数据库元信息（路由、分片）的配置

片区:具体的存储信息，根据路由配置的片键不同

2.片键的概念和用处

看下面这个普通的集合和分片后的结果。


这里写图片描述

3.分片步骤

  • 创建一个配置服务器
  • 创建路由服务器,并且连接配置服务器
  • 由器是调用mongos命令
  • 添加2个分片数据库 端口为8081和8082
  • 利用路由为集群添加分片(允许本地访问)
 

  1. db.runCommand({addshard:"127.0.0.1:8081",allowLocal:true})

  2. db.runCommand({addshard:"127.0.0.1:8081",allowLocal:true})

切记之前不能使用任何数据库语句

  • 打开数据分片功能,为数据库foobar打开分片功能
db.runCommand({"enablesharding":"foobar"})
  • 对集合进行分片,制定片键
db.runCommand({"shardcollection":"foobar.bar","key":{"_id":1}})

4.搭建分片:

分片数据库_01.conf:

 

  1. dbpath = ~/mongodata/01

  2. port = 8081

  3. bind_ip = 127.0.0.1

分片数据库_02.conf:

 

  1. dbpath = ~/mongodata/02

  2. port = 8082

  3. bind_ip = 127.0.0.1

配置服务器.conf:

 

  1. dbpath = ~/mongodata/00

  2. port = 2000

  3. bind_ip = 127.0.0.1

路由

mongos --port 1000 --configdb 127.0.0.1:2000

启动上面所有的服务。

mongo 127.0.0.1:1000 (此时就通过路由链接到了配置服务器)

登录进路由之后为集群添加分片:

 

  1. db.runCommand({addshard:"127.0.0.1:8081",allowLocal:true})

  2. db.runCommand({addshard:"127.0.0.1:8081",allowLocal:true})

切记之前不能使用任何数据库语句

打开数据分片功能,为数据库foobar打开分片功能

db.runCommand({"enablesharding":"foobar"})

对集合进行分片

db.runCommand({"shardcollection":"foobar.bar","key":{"_id":1}})

5.利用大数据量进行测试

 

  1. function add(){

  2. var i = 0;

  3. for(;i<200000;i++){

  4. db.bar.insert({"age":i+10,"name":"jim"})

  5. }

  6. }

  7.  

  8. function add2(){

  9. var i = 0;

  10. for(;i<200000;i++){

  11. db.bar.insert({"age":12,"name":"tom"+i})

  12. }

  13. }

  14.  

  15. function add3(){

  16. var i = 0;

  17. for(;i<200000;i++){

  18. db.bar.insert({"age":12,"name":"lili"+i})

  19. }

  20. }

(给foobar插入800000条数据,然后会发现这800000条数据分批存放在分片上。)

查看配置库对于分片服务器的配置存储

db.printShardingStatus()

查看集群对bar的自动分片机制配置信息

 

  1. mongos> db.shards.find()

  2. { "_id" : "shard0000", "host" : "127.0.0.1:8081" }

  3. { "_id" : "shard0001", "host" : "127.0.0.1:8082" }

如上就是MongoDB中常见的集群搭建。对于分片是最常用的，实际中的分片不可以像我们配置的这么简单,为了保险期间，实际中分片之间配置为副本集，配置服务器也不会是单单一台也常见的是一个副本集的集群。只有这样，才能让系统更加健壮。

猜你喜欢

转载自blog.csdn.net/Allen_Walker_QAQ/article/details/86548956
今日推荐
富文本编辑器 Quill 2.0 重磅发布，特性、可靠性与开发者体验大幅提升
“开源信徒”周鸿祎开源360智脑大模型
周排行
Ubuntu 14.04 下Fuel6.0安装部署
香港一小巴侧翻致1死16伤 警方：未见机件故障
pikachu--XSS盲打
阅读 深入理解JVM虚拟机笔记一
java.sql.SQLException: ORA-00932: 数据类型不一致: 应为 -, 但却获得 CLOB
oracle delete all object under an user
[LeetCode]20 Valid Parentheses 有效的括号
树形DP求树的直径 【模板】
Context propagation over HTTP in Go
【PAT】（B）1053 住房空置率 (20)*
每日归档
更多
2024-04-18(0)
2024-04-17(5)
2024-04-16(70)
2024-04-15(42)
2024-04-14(0)
2024-04-13(119)
2024-04-12(38)
2024-04-11(14)
2024-04-10(68)
2024-04-09(5)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022