MongoDB分片集群的搭建和使用

1. 概念

分片（sharding）是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。

具有大型数据集或高吞吐量应用程序的数据库系统可以会挑战单个服务器的容量。例如，高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。有两种解决系统增长的方法：垂直扩展和水平扩展。

• 垂直扩展：意味着增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器性能的上限。此外，基于云的提供商基于可用的硬件配置具有硬性上限。所以垂直缩放有实际的最大值。

• 水平扩展：意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高，但每台机器处理整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器，这可能比单个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。MongoDB支持通过分片方式进行水平扩展。

2. 分片集群的组件

MongoDB分片群集包含以下组件：

• 分片（存储）：每个分片包含分片数据的子集。 每个分片都可以部署为副本集。
• mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。
• config servers（“调度”的配置）：配置服务器存储群集的元数据和配置设置。 从MongoDB 3.4开始，必须将配置服务器部署为副本集（CSRS）。

下图描述了分片集群中组件的交互：

MongoDB在集合级别对数据进行分片，将集合数据分布在集群中的分片上。
27018 if mongod is a shard member；

27019 if mongod is a config server member

3. 搭建分片集群

分片集群架构目标：两个分片节点副本集（3+3）+一个配置节点副本集（3）+两个路由节点（2），共11个MongoDB服务节点。

3.1 分片（存储）节点副本集的创建

所有的的配置文件都直接放到 sharded_cluster 的相应的子目录下面，默认配置文件名字：mongod.conf

3.1.1 第一套副本集

准备存放数据和日志的目录：

#-----------myshardrs01
mkdir -p /mongodb/sharded_cluster/myshardrs01_27018/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs01_27018/data/db \ &

mkdir -p /mongodb/sharded_cluster/myshardrs01_27118/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs01_27118/data/db \ &

mkdir -p /mongodb/sharded_cluster/myshardrs01_27218/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs01_27218/data/db \ &

3.1.1.1 配置主节点

新建/修改配置文件：

vim /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf

myshardrs01_27018的配置文件：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myshardrs01_27018/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs01_27018/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27018/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27018
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

sharding.clusterRole的值说明：
注意：设置sharding.clusterRole需要mongod实例运行。 要将实例部署为副本集成员，需要使用replSetName设置并指定副本集的名称。

3.1.1.2 配置副本节点

新建或修改配置文件：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myshardrs01_27118/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs01_27118/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27118/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27118
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr                    

3.1.1.3 配置仲裁节点

新建或修改配置文件：

vim /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf

myshardrs01_27218/mongod.conf的配置内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myshardrs01_27218/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs01_27218/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs01_27218/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27218
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

启动第一套副本集myshardrs01_27218的三个mongo服务：

/usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf

/usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf

/usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf

查看服务是否启动成功

ps -ef|grep mongod

3.1.1.4 配置副本集

（1）初始化副本集和创建主节点
使用客户端命令连接主节点

mongo --host 10.0.16.9 --port 27018

执行初始化副本集命令

rs.initiate()

查看副本集的状态

rs.status()

（2）查看主节点配置

rs.conf()

（3）添加副本节点

（4）添加仲裁节点

查看副本集的配置情况

3.1.2 第二套副本集

准备存放数据和日志的目录

mkdir -p /mongodb/sharded_cluster/myshardrs02_27318/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27318/data/db \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27418/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27418/data/db \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27518/log \ &
mkdir -p /mongodb/sharded_cluster/myshardrs02_27518/data/db \ &

3.1.2.1 配置主节点

新建/修改配置文件：

vim /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf

myshardrs02_27318的配置文件

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myshardrs02_27318/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs02_27318/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27318/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27318
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

3.1.2.2 配置副本节点

新建/修改配置文件：

vim /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf

myshardrs02_27418的配置文件：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myshardrs02_27418/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs02_27418/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27418/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27418
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr                       

3.1.2.3 配置仲裁节点

新建/修改配置文件：

vim /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf

myshardrs02_27518的配置文件：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myshardrs02_27518/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myshardrs02_27518/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myshardrs02_27518/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27518
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

启动第二套副本集myshardrs02的三个mongo服务：

/usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf
/usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf
/usr/local/mongodb/mongodb-linux-x86_64-rhel70-5.0.4/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf

查看服务是否启动成功

ps -ef|grep mongod

3.1.2.4 配置副本集

（1）初始化副本集和创建主节点
使用客户端命令连接主节点

mongo --host 10.0.16.9 --port 27318

执行初始化副本集命令

rs.initiate()

查看副本集的状态

rs.status()

myshardrs02:PRIMARY> rs.status()
{
    
    
	"set" : "myshardrs02",
	"date" : ISODate("2022-07-10T06:12:55.455Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"majorityVoteCount" : 2,
	"writeMajorityCount" : 2,
	"votingMembersCount" : 3,
	"writableVotingMembersCount" : 2,
	"optimes" : {
    
    
		"lastCommittedOpTime" : {
    
    
			"ts" : Timestamp(1657433574, 1),
			"t" : NumberLong(1)
		},
		"lastCommittedWallTime" : ISODate("2022-07-10T06:12:54.645Z"),
		"readConcernMajorityOpTime" : {
    
    
			"ts" : Timestamp(1657433574, 1),
			"t" : NumberLong(1)
		},
		"appliedOpTime" : {
    
    
			"ts" : Timestamp(1657433574, 1),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
    
    
			"ts" : Timestamp(1657433574, 1),
			"t" : NumberLong(1)
		},
		"lastAppliedWallTime" : ISODate("2022-07-10T06:12:54.645Z"),
		"lastDurableWallTime" : ISODate("2022-07-10T06:12:54.645Z")
	},
	"lastStableRecoveryTimestamp" : Timestamp(1657433514, 1),
	"electionCandidateMetrics" : {
    
    
		"lastElectionReason" : "electionTimeout",
		"lastElectionDate" : ISODate("2022-07-10T06:09:04.567Z"),
		"electionTerm" : NumberLong(1),
		"lastCommittedOpTimeAtElection" : {
    
    
			"ts" : Timestamp(1657433344, 1),
			"t" : NumberLong(-1)
		},
		"lastSeenOpTimeAtElection" : {
    
    
			"ts" : Timestamp(1657433344, 1),
			"t" : NumberLong(-1)
		},
		"numVotesNeeded" : 1,
		"priorityAtElection" : 1,
		"electionTimeoutMillis" : NumberLong(10000),
		"newTermStartDate" : ISODate("2022-07-10T06:09:04.618Z"),
		"wMajorityWriteAvailabilityDate" : ISODate("2022-07-10T06:09:04.641Z")
	},
	"members" : [
		{
    
    
			"_id" : 0,
			"name" : "10.0.16.9:27318",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 426,
			"optime" : {
    
    
				"ts" : Timestamp(1657433574, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2022-07-10T06:12:54Z"),
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"electionTime" : Timestamp(1657433344, 2),
			"electionDate" : ISODate("2022-07-10T06:09:04Z"),
			"configVersion" : 3,
			"configTerm" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		},
		{
    
    
			"_id" : 1,
			"name" : "10.0.16.9:27418",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 130,
			"optime" : {
    
    
				"ts" : Timestamp(1657433564, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
    
    
				"ts" : Timestamp(1657433564, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2022-07-10T06:12:44Z"),
			"optimeDurableDate" : ISODate("2022-07-10T06:12:44Z"),
			"lastHeartbeat" : ISODate("2022-07-10T06:12:53.660Z"),
			"lastHeartbeatRecv" : ISODate("2022-07-10T06:12:53.670Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncSourceHost" : "10.0.16.9:27318",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 3,
			"configTerm" : 1
		},
		{
    
    
			"_id" : 2,
			"name" : "10.0.16.9:27518",
			"health" : 1,
			"state" : 7,
			"stateStr" : "ARBITER",
			"uptime" : 105,
			"lastHeartbeat" : ISODate("2022-07-10T06:12:53.662Z"),
			"lastHeartbeatRecv" : ISODate("2022-07-10T06:12:53.691Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"configVersion" : 3,
			"configTerm" : 1
		}
	],
	"ok" : 1,
	"$clusterTime" : {
    
    
		"clusterTime" : Timestamp(1657433574, 1),
		"signature" : {
    
    
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1657433574, 1)
}

（2）查看主节点配置

rs.conf()

(3）添加副本节点

（4）添加仲裁节点

查看副本集的配置情况

3.2 配置节点副本集的搭建

准备存放数据和日志的目录：

mkdir -p /mongodb/sharded_cluster/myconfigrs_27019/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27019/data/db \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27119/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27119/data/db \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27219/log \ &
mkdir -p /mongodb/sharded_cluster/myconfigrs_27219/data/db \ &

3.2.1 配置主节点

新建/修改配置文件：

vim /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf

myconfigrs_27019的配置文件：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myconfigrs_27019/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myconfigrs_27019/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27019/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27019
replication:
  #副本集的名称
  replSetName: myconfigrs
sharding:
  #分片角色
  clusterRole: configsvr

3.2.2 配置副本节点

新建/修改配置文件：

vim /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf

myconfigrs_27119的配置文件：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myconfigrs_27119/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myconfigrs_27119/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27119/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27119
replication:
  #副本集的名称
  replSetName: myconfigrs
sharding:
  #分片角色
  clusterRole: configsvr

3.2.3 配置仲裁节点

新建/修改配置文件：

vim /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf

myconfigrs_27219的配置文件：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  path: "/mongodb/sharded_cluster/myconfigrs_27219/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/mongodb/sharded_cluster/myconfigrs_27219/data/db"
  journal:
    #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: "/mongodb/sharded_cluster/myconfigrs_27219/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #绑定的端口
  port: 27219
replication:
  #副本集的名称
  replSetName: myconfigrs
sharding:
  #分片角色
  clusterRole: configsvr

3.2.4 配置副本集

启动配置节点的三个mongo服务,准备配置一主两副的配置副本集：

mongod -f /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf
mongod -f /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf
mongod -f /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf

查看服务是否启动成功

ps -ef|grep mongod

执行初始化副本集命令

rs.initiate()

查看副本集的状态

rs.status()

myconfigrs:PRIMARY> rs.status()
{
    
    
	"set" : "myconfigrs",
	"date" : ISODate("2022-07-11T13:05:48.526Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"configsvr" : true,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"majorityVoteCount" : 2,
	"writeMajorityCount" : 2,
	"votingMembersCount" : 3,
	"writableVotingMembersCount" : 3,
	"optimes" : {
    
    
		"lastCommittedOpTime" : {
    
    
			"ts" : Timestamp(1657544748, 1),
			"t" : NumberLong(1)
		},
		"lastCommittedWallTime" : ISODate("2022-07-11T13:05:48.192Z"),
		"readConcernMajorityOpTime" : {
    
    
			"ts" : Timestamp(1657544748, 1),
			"t" : NumberLong(1)
		},
		"appliedOpTime" : {
    
    
			"ts" : Timestamp(1657544748, 1),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
    
    
			"ts" : Timestamp(1657544748, 1),
			"t" : NumberLong(1)
		},
		"lastAppliedWallTime" : ISODate("2022-07-11T13:05:48.192Z"),
		"lastDurableWallTime" : ISODate("2022-07-11T13:05:48.192Z")
	},
	"lastStableRecoveryTimestamp" : Timestamp(1657544743, 1),
	"electionCandidateMetrics" : {
    
    
		"lastElectionReason" : "electionTimeout",
		"lastElectionDate" : ISODate("2022-07-11T13:03:43.779Z"),
		"electionTerm" : NumberLong(1),
		"lastCommittedOpTimeAtElection" : {
    
    
			"ts" : Timestamp(1657544623, 1),
			"t" : NumberLong(-1)
		},
		"lastSeenOpTimeAtElection" : {
    
    
			"ts" : Timestamp(1657544623, 1),
			"t" : NumberLong(-1)
		},
		"numVotesNeeded" : 1,
		"priorityAtElection" : 1,
		"electionTimeoutMillis" : NumberLong(10000),
		"newTermStartDate" : ISODate("2022-07-11T13:03:43.837Z"),
		"wMajorityWriteAvailabilityDate" : ISODate("2022-07-11T13:03:44.164Z")
	},
	"members" : [
		{
    
    
			"_id" : 0,
			"name" : "10.0.16.9:27019",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 280,
			"optime" : {
    
    
				"ts" : Timestamp(1657544748, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2022-07-11T13:05:48Z"),
			"syncSourceHost" : "",
			"syncSourceId" : -1,
			"infoMessage" : "",
			"electionTime" : Timestamp(1657544623, 2),
			"electionDate" : ISODate("2022-07-11T13:03:43Z"),
			"configVersion" : 5,
			"configTerm" : 1,
			"self" : true,
			"lastHeartbeatMessage" : ""
		},
		{
    
    
			"_id" : 1,
			"name" : "10.0.16.9:27119",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 49,
			"optime" : {
    
    
				"ts" : Timestamp(1657544746, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
    
    
				"ts" : Timestamp(1657544746, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2022-07-11T13:05:46Z"),
			"optimeDurableDate" : ISODate("2022-07-11T13:05:46Z"),
			"lastHeartbeat" : ISODate("2022-07-11T13:05:46.828Z"),
			"lastHeartbeatRecv" : ISODate("2022-07-11T13:05:46.832Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncSourceHost" : "10.0.16.9:27019",
			"syncSourceId" : 0,
			"infoMessage" : "",
			"configVersion" : 5,
			"configTerm" : 1
		},
		{
    
    
			"_id" : 2,
			"name" : "10.0.16.9:27219",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 37,
			"optime" : {
    
    
				"ts" : Timestamp(1657544746, 1),
				"t" : NumberLong(1)
			},
			"optimeDurable" : {
    
    
				"ts" : Timestamp(1657544746, 1),
				"t" : NumberLong(1)
			},
			"optimeDate" : ISODate("2022-07-11T13:05:46Z"),
			"optimeDurableDate" : ISODate("2022-07-11T13:05:46Z"),
			"lastHeartbeat" : ISODate("2022-07-11T13:05:46.828Z"),
			"lastHeartbeatRecv" : ISODate("2022-07-11T13:05:47.334Z"),
			"pingMs" : NumberLong(0),
			"lastHeartbeatMessage" : "",
			"syncSourceHost" : "10.0.16.9:27119",
			"syncSourceId" : 1,
			"infoMessage" : "",
			"configVersion" : 5,
			"configTerm" : 1
		}
	],
	"ok" : 1,
	"$gleStats" : {
    
    
		"lastOpTime" : {
    
    
			"ts" : Timestamp(1657544710, 1),
			"t" : NumberLong(1)
		},
		"electionId" : ObjectId("7fffffff0000000000000001")
	},
	"lastCommittedOpTime" : Timestamp(1657544748, 1),
	"$clusterTime" : {
    
    
		"clusterTime" : Timestamp(1657544748, 1),
		"signature" : {
    
    
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1657544748, 1)
}

（2）查看主节点配置

rs.conf()

（3）添加副本节点

查看副本集的配置情况

3.3 路由节点的创建和操作

3.3.1 第一个路由节点的创建和连接

准备存放数据和日志的目录：

#-----------mongos01
mkdir -p /mongodb/sharded_cluster/mongos_27017/log \ &

新建或修改配置文件:

vi /mongodb/sharded_cluster/mymongos_27017/mongos.conf

mymongos_27017的配置文件：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/mymongos_27017/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: /mongodb/sharded_cluster/mymongos_27017/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #bindIp
  #绑定的端口
  port: 27017
sharding:
  #指定配置节点副本集
  configDB: myconfigrs/10.0.16.9:27019,10.0.16.9:27119,10.0.16.9:27219

启动mongos：

mongos -f /mongodb/sharded_cluster/mymongos_27017/mongos.conf

客户端登录mongos，测试写入数据：

可以发现现在无法插入数据：No shards found，这是因为通过路由节点操作，现在只是连接了配置节点，还没有连接分片数据节点，因此无法写入业务数据。

3.3.2 在路由节点上进行分片配置操作

(1)添加分片：
语法：

sh.addShard("IP:Port")

添加第一套分片副本集

sh.addShard("myshardrs01/10.0.16.9:27018,10.0.16.9:27118,10.0.16.9:27218")

查看分片状态情况：

 sh.status()

添加第二套分片副本集

sh.addShard("myshardrs01/10.0.16.9:27018,10.0.16.9:27118,10.0.16.9:27218")

查看分片状态情况：

 sh.status()

如果添加分片失败，需要先手动移除分片，检查添加分片的信息的正确性后，再次添加分片。

移除分片参考(了解)：

use admin
db.runCommand( {
    
     removeShard: "myshardrs02" } 

注意：如果只剩下最后一个shard，是无法删除的。移除时会自动转移分片数据，需要一个时间过程。完成后，再次执行删除分片命令才能真正删除。

3.3.2.1 数据库分片

开启分片功能：

sh.enableSharding("库名")、
sh.shardCollection("库名.集合名",{
    
    "key":1})

在mongos上的articledb数据库配置sharding:

sh.enableSharding("articledb")

查看分片状态

sh.status()

3.3.2.2 集合分片

对集合分片，你必须使用 sh.shardCollection() 方法指定集合和分片键。语法：

sh.shardCollection(namespace, key, unique)

参数说明：

对集合进行分片时,你需要选择一个 片键（Shard Key） , shard key 是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB按照片键将数据划分到不同的 数据块 中,并将 数据块 均衡地分布到所有分片中.为了按照片键划分数据块,MongoDB使用 基于哈希的分片方式（随机平均分配）或者基于范围的分片方式（数值大小分配） 。

用什么字段当片键都可以，如：nickname作为片键，但一定是必填字段。

分片规则一：哈希策略

对于基于哈希的分片 ,MongoDB计算一个字段的哈希值,并用这个哈希值来创建数据块

在使用基于哈希分片的系统中,拥有”相近”片键的文档 很可能不会存储在同一个数据块中,因此数据的分离性更好一些.使用nickname作为片键，根据其值的哈希值进行数据分片

sh.shardCollection("articledb.comment",{
    
    "nickname":"hashed"})

查看分片状态

sh.status()

分片规则二：范围策略

对于 基于范围的分片 ,MongoDB按照片键的范围把数据分成不同部分.假设有一个数字的片键:想象一个从负无穷到正无穷的直线,每一个片键的值都在直线上画了一个点.MongoDB把这条直线划分为更短的不重叠的片段,并称之为 数据块 ,每个数据块包含了片键在一定范围内的数据。在使用片键做范围划分的系统中,拥有”相近”片键的文档很可能存储在同一个数据块中,因此也会存储在同一个分片中。如使用作者年龄字段作为片键，按照点赞数的值进行分片：

sh.shardCollection("articledb.author",{
    
    "age":1})

需要注意的是：
1）一个集合只能指定一个片键，否则报错。
2）一旦对一个集合分片，分片键和分片值就不可改变。 如：不能给集合选择不同的分片键、不能更新
分片键的值。
3）根据age索引进行分配数据

查看分片状态

sh.status()

基于范围的分片方式与基于哈希的分片方式性能对比：

基于范围的分片方式提供了更高效的范围查询,给定一个片键的范围,分发路由可以很简单地确定哪个数据块存储了请求需要的数据,并将请求转发到相应的分片中.

不过,基于范围的分片会导致数据在不同分片上的不均衡,有时候,带来的消极作用会大于查询性能的积极作用.比如,如果片键所在的字段是线性增长的,一定时间内的所有请求都会落到某个固定的数据块中,最终导致分布在同一个分片中.在这种情况下,一小部分分片承载了集群大部分的数据,系统并不能很好地进行扩展.

与此相比,基于哈希的分片方式以范围查询性能的损失为代价,保证了集群中数据的均衡.哈希值的随机性使数据随机分布在每个数据块中,因此也随机分布在不同分片中.但是也正由于随机性,一个范围查询很难确定应该请求哪些分片,通常为了返回需要的结果,需要请求所有分片.

如无特殊情况，一般推荐使用 Hash Sharding。而使用 _id 作为片键是一个不错的选择，因为它是必有的，你可以使用数据文档 _id 的哈希作为片键。这个方案能够是的读和写都能够平均分布，并且它能够保证每个文档都有不同的片键所以数据块能够很精细。似乎还是不够完美，因为这样的话对多个文档的查询必将命中所有的分片。虽说如此，这也是一种比较好的方案了。理想化的 shard key 可以让 documents 均匀地在集群中分布：

显示集群的详细信息：

db.printShardingStatus()

查看均衡器是否工作（需要重新均衡时系统才会自动启动，不用管它）：

sh.isBalancerRunning()

查看当前Balancer状态：

sh.getBalancerState()

3.3.3 分片后插入数据测试

3.3.3.1 哈希策略测试

登录mongs后，向comment循环插入1000条数据做测试。（这里使用的是js的语法，因为mongo的shell是一个JavaScript的shell）

use articledb
for(var i=1;i<=1000;i++){
    
    db.comment.insert({
    
    _id:i+"",nickname:"BoBo"+i})}

注意：从路由上插入的数据，必须包含片键，否则无法插入。

分别登陆两个片的主节点，统计文档数，第一个分片副本集：

mongo --host 10.0.16.9 --port 27018

第二个分片副本集：

mongo --host 10.0.16.9 --port 27318

可以看到1000条数据近似均匀的分布到了2个shard上。是根据片键的哈希值分配的。这种分配方式非常易于水平扩展：一旦数据存储需要更大空间，可以直接再增加分片即可，同时提升了性能。

使用db.comment.stats()查看单个集合的完整情况，mongos执行该命令可以查看该集合的数据分片的情况。使用sh.status()查看本库内所有集合的分片信息。

3.3.3.2 范围规则测试

登录mongs后，向author循环插入1000条数据做测试：

use articledb

for(var i=1;i<=20000;i++){
    
    db.author.save({
    
    "name":"BoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBo"+i,"age":NumberInt(i%120)})}

因为默认的数据块尺寸（chunksize）是64M，填满后才会考虑向其他片的数据块填充数据，因此，为了测试多执行上述插入语句。

或者使用此操作：

use config
db.settings.save( {
    
     _id:"chunksize", value: 1 }

要先改小，再设置分片。为了测试，可以先删除集合，重新建立集合的分片策略，再插入数据测试即可

测试完改回来原本的配置：

db.settings.save( {
    
     _id:"chunksize", value: 64 })

连接第二个分片可以看到实现了范围策略分片

3.3.4 再增加一个路由节点

新建文件夹：

#-----------mongos02
mkdir -p /mongodb/sharded_cluster/mymongos_27117/log

新建或修改配置文件：

vi /mongodb/sharded_cluster/mymongos_27117/mongos.conf

mymongos_27117/mongos.conf的配置文件内容：

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/mongodb/sharded_cluster/mymongos_27117/log/mongod.log"
  #当mongos或mongod实例重新启动时，mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置，其中mongos或mongod将写入其PID
  pidFilePath: /mongodb/sharded_cluster/mymongos_27117/log/mongod.pid"
net:
  #服务实例绑定所有IP，有副作用，副本集初始化的时候，节点名字会自动设置为本地域名，而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,10.0.16.9
  #bindIp
  #绑定的端口
  port: 27117
sharding:
  #指定配置节点副本集
  configDB: myconfigrs/10.0.16.9:27019,10.0.16.9:27119,10.0.16.9:27219

启动mongos2：

mongos -f /mongodb/sharded_cluster/mymongos_27117/mongos.conf

使用mongo客户端登录27117，发现，第二个路由无需配置，因为分片配置都保存到了配置服务器中
了。

4. Compass连接分片集群

和连接单机mongod一样

连接成功后，上方有mongos和分片集群的提示：

5. SpringDataMongDB连接分片集群

Java客户端常用的是SpringDataMongoDB，其连接的是mongs路由，配置和单机mongod的配置是一样的。多个路由的时候的SpringDataMongoDB的客户端配置参考如下：

spring:
  data:
    mongodb:
      uri: mongodb://180.76.159.126:27017,180.76.159.126:27117/articledb

6. 清除所有的节点数据

如果在搭建分片的时候有操作失败或配置有问题，需要重新来过的，可以进行如下操作：
第一步：查询出所有的测试服务节点的进程

ps -ef |grep mongo

根据上述的进程编号，依次中断进程：

kill -2 进程编号

第二步：清除所有的节点的数据：

rm -rf /mongodb/sharded_cluster/myconfigrs_27019/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myconfigrs_27119/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myconfigrs_27219/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27018/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27118/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs01_27218/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27318/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27418/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/myshardrs02_27518/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/mymongos_27017/data/db/*.* \ &
rm -rf /mongodb/sharded_cluster/mymongos_27117/data/db/*.* \ &

第三步：查看或修改有问题的配置

第四步：依次启动所有节点，不包括路由节点：

/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27118/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs01_27218/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27318/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27418/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myshardrs02_27518/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27019/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27119/mongod.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/myconfigrs_27219/mongod.conf

第五步：对两个数据分片副本集和一个配置副本集进行初始化和相关配置
第六步：检查路由mongos的配置，并启动mongos

/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/mymongos_27017/mongos.conf
/usr/local/mongodb/bin/mongod -f /mongodb/sharded_cluster/mymongos_27117/mongos.conf

第七步：mongo登录mongos，在其上进行进行初始化和相关操作。