Mongo 分片集群 Shard Cluster

其他 2020-10-16 14:06:35 阅读次数: 0

什么是分片

分片（sharding）是MongoDB用来将大型集合水平分割到不同服务器（或者复制集）上所采用的方法。不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载

为什么要分片

1.存储容量需求超出单机磁盘容量。
2.活跃的数据集超出单机内存容量，导致很多请求都要从磁盘读取数据，影响性能。
3.IOPS超出单个MongoDB节点的服务能力，随着数据的增长，单机实例的瓶颈会越来越明显。
4.副本集具有节点数量限制。
垂直扩展：增加更多的CPU和存储资源来扩展容量。
水平扩展：将数据集分布在多个服务器上。水平扩展即分片

分片的工作原理

在这里插入图片描述

分片集群由以下3个服务组成：
Shards Server: 每个shard由一个或多个mongod进程组成，用于存储数据。
Router Server: 数据库集群的请求入口，所有请求都通过Router(mongos)进行协调，不需要在应用程序添加一个路由选择器，Router(mongos)就是一个请求分发中心它负责把应用程序的请求转发到对应的Shard服务器上。
Config Server: 配置服务器。存储所有数据库元信息（路由、分片）的配置

片键（shard key）

为了在数据集合中分配文档，MongoDB使用分片主键分割集合。
区块（chunk）
在一个shard server内部，MongoDB还是会把数据分为chunks，每个chunk代表这个shardserver内部一部分数据。MongoDB分割分片数据到区块，每一个区块包含基于分片主键的左闭右开的区间范围

分片策略

范围分片（Range based sharding）

在这里插入图片描述

范围分片是基于分片主键的值切分数据，每一个区块将会分配到一个范围。
范围分片适合满足在一定范围内的查找，例如查找X的值在[20,30)之间的数据，mongo 路由根据
Config server中存储的元数据，可以直接定位到指定的shard的Chunk中。
缺点: 如果shard key有明显递增（或者递减）趋势，则新插入的文档多会分布到同一个chunk，无
法扩展写的能力。

hash分片（Hash based sharding）

在这里插入图片描述

Hash分片是计算一个分片主键的hash值，每一个区块将分配一个范围的hash值。
Hash分片与范围分片互补，能将文档随机的分散到各个chunk，充分的扩展写能力，弥补了范围分片的不足，缺点是不能高效的服务范围查询，所有的范围查询要分发到后端所有的Shard才能找出满足条件的文档

组合片键 A + B(散列思想 不能是直接hash)

数据库中没有比较合适的片键供选择，或者是打算使用的片键基数太小（即变化少如星期只有7天可变化），可以选另一个字段使用组合片键，甚至可以添加冗余字段来组合。一般是粗粒度+细粒度进行组合

合理的选择shard key
从两个方面考虑，数据的查询和写入，最好的效果就是数据查询时能命中更少的分片，数据写入时能够随机的写入每个分片，关键在于如何权衡性能和负载
在这里插入图片描述
在这里插入图片描述

建立配置节点

建立config目录
在这里插入图片描述

  • 节点1 config-17017.conf

# 数据库文件位置
dbpath=config/config1
#日志文件位置
logpath=config/logs/config1.log
# 以追加方式写入日志
logappend=true
# 是否以守护进程方式运行
fork = true
bind_ip=0.0.0.0
port = 17017
# 表示是一个配置服务器
configsvr=true
#配置服务器副本集名称
replSet=configsvr
  • 节点2 config-17018.conf
# 数据库文件位置
dbpath=config/config2
#日志文件位置
logpath=config/logs/config2.log
# 以追加方式写入日志
logappend=true
# 是否以守护进程方式运行
fork = true
bind_ip=0.0.0.0
port = 17018
# 表示是一个配置服务器
configsvr=true
#配置服务器副本集名称
replSet=configsvr
  • 节点3 config-17019.conf

# 数据库文件位置
dbpath=config/config3
#日志文件位置
logpath=config/logs/config3.log
# 以追加方式写入日志
logappend=true
# 是否以守护进程方式运行
fork = true
bind_ip=0.0.0.0
port = 17019
# 表示是一个配置服务器
configsvr=true
#配置服务器副本集名称
replSet=configsvr
  • 分别启动
./bin/mongod -f config/config-17017.conf
./bin/mongod -f config/config-17018.conf
./bin/mongod -f config/config-17019.conf
  • 进入任意一个
    进入任意节点的mongo shell 并添加 配置节点集群 注意use admin
    ./bin/mongo --port 17017
### 配置
var cfg ={"_id":"configsvr",
"members":[
{"_id":1,"host":"192.168.181.135:17017"},
{"_id":2,"host":"192.168.181.135:17018"},
{"_id":3,"host":"192.168.181.135:17019"}]
};
rs.initiate(cfg)
rs.status()

配置分片shard1节点-shard1集群搭建37017到37019

  • 37017
dbpath=shard/shard1/shard1-37017
bind_ip=0.0.0.0
port=37017
fork=true
logpath=shard/shard1/shard1-37017.log
replSet=shard1
shardsvr=true
  • 37018
dbpath=shard/shard1/shard1-37018
bind_ip=0.0.0.0
port=37018
fork=true
logpath=shard/shard1/logs/shard1-37018.log
replSet=shard1
shardsvr=true
  • 38019
dbpath=shard/shard1/shard1-37019
bind_ip=0.0.0.0
port=37019
fork=true
logpath=shard/shard1/logs/shard1-37019.log
replSet=shard1
shardsvr=true

启动同上

./bin/mongod -f =shard/shard1-37017.conf
./bin/mongod -f =shard/shard1-37018.conf
./bin/mongod -f =shard/shard1-37019.conf
  • 进入任意一个

var cfg ={"_id":"shard1",
"protocolVersion" : 1,
"members":[
{"_id":1,"host":"192.168.181.135:37017"},
{"_id":2,"host":"192.168.181.135:37018"},
{"_id":3,"host":"192.168.181.135:37019"}
]};

rs.initiate(cfg)
rs.status()

配置分片shard2节点shard2集群搭建47017到47019

shard2集群搭建47017到47019

  • 47017
dbpath=shard/shard2/shard2-47017
bind_ip=0.0.0.0
port=47017
fork=true
logpath=shard/shard2/logs/shard2-47017.log
replSet=shard2
shardsvr=true
  • 47018
dbpath=shard/shard2/shard2-47018
bind_ip=0.0.0.0
port=47018
fork=true
logpath=shard/shard2/logs/shard2-47018.log
replSet=shard2
shardsvr=true
  • 47019
dbpath=shard/shard2/shard2-47019
bind_ip=0.0.0.0
port=47019
fork=true
logpath=shard/shard2/logs/shard2-47019.log
replSet=shard2
shardsvr=true

启动同上

./bin/mongod -f =shard/shard2-47017.conf
./bin/mongod -f =shard/shard2-47018.conf
./bin/mongod -f =shard/shard2-47019.conf
  • 进入任意一个
var cfg ={"_id":"shard2",
"protocolVersion" : 1,
"members":[
{"_id":1,"host":"192.168.181.135:47017"},
{"_id":2,"host":"192.168.181.135:47018"},
{"_id":3,"host":"192.168.181.135:47019"}
]};

rs.initiate(cfg)
rs.status()

配置路由节点

route-27017.conf


port=27017
bind_ip=0.0.0.0
fork=true
logpath=route/logs/route.log
configdb=configsvr/192.168.181.135:17017,192.168.181.135:17018,192.168.181.135:17019
  • 启动
    ** 启动路由节点使用 mongos （注意不是mongod）**
./bin/mongos -f route/route-27017.conf

mongos（路由）中添加分片节点

  • 进入mongos
/bin/mongo --port 27017
MongoDB shell version v4.1.3
connecting to: mongodb://127.0.0.1:27017/
Implicit session: session { "id" : UUID("f1db0f92-dca5-43e9-8389-9b11a9feca05") }
MongoDB server version: 4.1.3
Server has startup warnings: 
2020-09-27T20:25:13.554+0800 I CONTROL  [main] 
2020-09-27T20:25:13.554+0800 I CONTROL  [main] ** NOTE: This is a development version (4.1.3) of MongoDB.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] **       Not recommended for production.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] 
2020-09-27T20:25:13.554+0800 I CONTROL  [main] ** WARNING: Access control is not enabled for the database.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] **          Read and write access to data and configuration is unrestricted.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] ** WARNING: You are running this process as the root user, which is not recommended.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] 

 sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("5f707f05f527e428c8587799")
  }
  shards:
  active mongoses:
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
  • 添加分片


sh.addShard("shard1/192.168.181.135:37017,192.168.181.135:37018,192.168.181.135:37019");
sh.addShard("shard2/192.168.181.135:47017,192.168.181.135:47018,192.168.181.135:47019");
  • 开启数据库和集合分片(指定片键)
    继续使用mongos完成分片开启和分片大小设置
    sh.shardCollection(“my_resume.my_resume_datas”,{“片键字段名如 name”:索引说明})
为数据库开启分片功能
sh.enableSharding("my_resume")
为指定集合开启分片功能
sh.shardCollection("my_resume.my_resume_datas",{"name":"hashed"})
  • 添加数据
use my_resume;
for(var i=1;i<= 1000;i++){
    
    
  db.my_resume_datas.insert({
    
    "name":"test"+i,
  salary:(Math.random()*20000).toFixed(2)});
}

  • 查看

  • shard1
    在这里插入图片描述

  • shard2
    在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/ko0491/article/details/108834593
今日推荐
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
【转】spring中对控制反转和依赖注入的理解
tms webcore 安装和使用
java程序员进阶相关书籍
SpringMVC接受请求参数、
如何保存训练好的机器学习模型
MyEclipse、Eclipse设置项目JDK的三个地方
商超行业微信小程序开发定制一般多少钱 （行业技术人员解读）
Markdown编辑器语言——30分钟入门到到精通
Linux系统下MongoDB的简单安装与基本操作
Power Strings
每日归档
更多
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022