[大数据] MongoDB-分片

在一台物理机74机器上模拟部署一个简单的mongodb分片集群。

1台路由实例（端口17017）
1台配置实例（端口37017、37018） mongodb1、mongodb2，副本集
2台分片实例（端口47017、47018） mongodb3、mongodb4

9.1、创建MongoDB四个实例的数据存储目录、日志存储目录、日志文件，修改权限

mkdir -p /data/mongodb/config_{37017,37018}
mkdir -p /data/mongodb/shard_{47017,47018}

mkdir /data/logs
touch /data/logs/config_{37017,37018}.log
touch /data/logs/shard_{47017,47018}.log
touch?/data/logs/route_17017.log
chmod -R 777 /data/logs/*.log

9.2、针对MongoDB服务进行Linux系统内核调优

ulimit -n 25000??#最大文件 数
ulimit -u 25000??#最大进程数

9.3、部署config服务器

9.3.1、编辑config_37017.conf，config_37018.conf，端口号37017、37018，设置configsvr=true，启动配置服务器

# vim config_37017.conf

bind_ip=0.0.0.0

port=37017? ? ? ? ? ? ? ? ? ? ? ?#指定服务端口

dbpath=/data/mongodb/config_37017? ???#数据存储目录

logpath=/data/logs/config_37017.log? ? ??#日志文件

logappend=true? ? ? ? ? ? ? ? ? ?#使用追加方式写日志

fork=true? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??#后台运行

maxConns=5000? ? ? ? ? ? ? ? ? ?#设定最大同时连接数，默认为2000

~~storageEngine~~=~~mmapv1? ? ? ?#指定存储引擎为内存映射文件~~

configsvr=true?? ? ? ? ? ? ? ? ? ??#模式为配置服务器模式

replSet=rs0? ? ? ? ? ? ? ? ? ? ? ? ? ?#副本集名称? ??

# vim config_37018.conf

bind_ip=0.0.0.0

port=37018? ??? ? ? ? ? ? ? ? ? ?#指定服务端口

dbpath=/data/mongodb/config_37018??? ?#数据存储目录

logpath=/data/logs/config_37018.log? ? ? ?#日志文件

logappend=true? ? ? ? ? ? ? ? ? ?#使用追加方式写日志

fork=true? ? ? ? ? ? ? ? ? ? ? ? ? ? ???#后台运行

maxConns=5000? ? ? ? ? ? ? ? ? #设定最大同时连接数，默认为2000

~~storageEngine~~=~~mmapv1? ? ??#指定存储引擎为内存映射文件~~

configsvr=true?? ? ? ? ? ? ? ? ? ?#模式为配置服务器模式

replSet=rs0? ? ? ? ? ? ? ? ? ? ? ? ??#副本集名称? ??

9.3.2、启动配置服务器，进入，可看到配置服务器前缀为“configsvr>”

#启动配置服务器

mongod -f config_37017.conf???
mongod -f config_37018.conf?

netstat -tlunp| grep mongo

#进入服务，副本集

> mongo --port 37017? ??
use admin
var config={
? ? ? _id:"rs0",
? ? ? members:[
? ? ? ? ??{_id:0,host:"192.168.11.74:37017"},
? ? ? ? ??{_id:1,host:"192.168.11.74:37018"}
? ? ? ]
?};
rs.initiate(config)? ??

添加这行~~storageEngine~~=~~mmapv1? ? ? ? ? ? ?#指定存储引擎为内存映射文件~~，在初始化副本集时会报如下错误：

9.4、部署shard分片服务器

9.4.1、编辑shard_47017.conf、shard_47018.conf，端口号47017、47018，设置shardsvr=true

# vim shard_47017.conf

bind_ip=0.0.0.0

port=47017? ? ? ? ? ? ? ? ? ? ? ?#指定服务端口

dbpath=/data/mongodb/shard_47017? ? #数据存储目录

logpath=/data/logs/shard_47017.log??#日志文件

logappend=true? ? ? ? ? ? ? ? ? ?#使用追加方式写日志

fork=true? ? ? ? ? ? ? ? ? ? ? ??#后台运行

maxConns=5000? ? ? ? ? ? ? ? ? ??#设定最大同时连接数，默认为2000

storageEngine=mmapv1? ? ? ? ? ? ?#指定存储引擎为内存映射文件

shardsvr=true?? ? ? ? ? ? ? ? ? ?#模式为分片服务器模式? ? ? ? ? ? ? ? ?

# vim shard_47018.conf

bind_ip=0.0.0.0

port=47018? ? ? ? ? ? ? ? ? ? ? ?#指定服务端口

dbpath=/data/mongodb/shard_47018? ? #数据存储目录

logpath=/data/logs/shard_47018.log??#日志文件

logappend=true? ? ? ? ? ? ? ? ? ?#使用追加方式写日志

fork=true? ? ? ? ? ? ? ? ? ? ? ??#后台运行

maxConns=5000? ? ? ? ? ? ? ? ? ??#设定最大同时连接数，默认为2000

storageEngine=mmapv1? ? ? ? ? ? ?#指定存储引擎为内存映射文件

shardsvr=true?? ? ??? ? ? ? ? ? ? ??

9.4.2、启动两个shard服务器

#?mongod -f shard_47017.conf
#?mongod -f shard_47018.conf

9.5、启动route路由服务器

通过mongos --help命令可以查看启动路由相关参数信息。chunkSize为数据块大小，默认为200MB，为了便于测试这里将值设置为1

# vim route_17017.conf

bind_ip=0.0.0.0

port=17017

fork=true

logpath=/data/logs/route_17017.log

configdb=rs0/192.168.11.74:37017,192.168.11.74:37018

#?mongos -f route_17017.conf

报错：

要求config服务器是副本集，所以9.3章节config服务器配置成副本集

9.6、启用shard服务器

9.6.1、连接到route服务器，通过sh.status()命令查看分片状态信息

#?mongo --port 17017? ? ? ? ? ?#进入路由实例

mongos> sh.status()

--- Sharding Status ---

? sharding version: {

??????? "_id" : 1,

??????? "minCompatibleVersion" : 5,

??????? "currentVersion" : 6,

??????? "clusterId" : ObjectId("62cf9dfd0915271ec0959b9b ")

? }

? shards:???????????????? #shards下为空，没有分片服务器

? active mongoses:

??????? "3.6.3" : 1

? autosplit:

??????? Currently enabled: yes

? balancer:

??????? Currently enabled:? yes

??????? Currently running:? no

??????? Failed balancer rounds in last 5 attempts:? 0

??????? Migration Results for the last 24 hours:

??????????????? No recent migrations

? databases:

??????? {? "_id" : "config",? "primary" : "config",? "partitioned" : true }? ? ? ? ? ? ? ??

9.6.2、通过sh.addShard()命令添加shard服务器

mongos> sh.addShard("192.168.11.74:47017")

{

??????? "shardAdded" : "shard0000",

??????? "ok" : 1,

??????? "$clusterTime" : {

??????????????? "clusterTime" : Timestamp(1635297315, 4),

??????????????? "signature" : {

??????????????????????? "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

??????????????????????? "keyId" : NumberLong(0)

??????????????? }

??????? },

??????? "operationTime" : Timestamp(1635297315, 4)

}

mongos> sh.addShard("192.168.11.74:47018")

{

??????? "shardAdded" : "shard0001",

??????? "ok" : 1,

??????? "$clusterTime" : {

??????????????? "clusterTime" : Timestamp(1635297326, 3),

??????????????? "signature" : {

??????????????????????? "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

??????????????????????? "keyId" : NumberLong(0)

??????????????? }

??????? },

??????? "operationTime" : Timestamp(1635297326, 3)

}

9.6.3、再次查看分片信息，可以看到shards：选项下已经显示刚刚添加的分片服务器

mongos> sh.status()

--- Sharding Status ---

? sharding version: {

??????? "_id" : 1,

??????? "minCompatibleVersion" : 5,

??????? "currentVersion" : 6,

??????? "clusterId" : ObjectId("62cf9dfd0915271ec0959b9b ")

? }

? shards:

??????? {? "_id" : "shard0000",? "host" : "192.168.11.74:47017",? "state" : 1 }? ?#?添加的分片

??????? {? "_id" : "shard0001",? "host" : "192.168.11.74:47018",? "state" : 1 }

? active mongoses:

??????? "3.6.3" : 1

? autosplit:

??????? Currently enabled: yes

? balancer:

??????? Currently enabled:? yes

??????? Currently running:? no

??????? Failed balancer rounds in last 5 attempts:? 0

??????? Migration Results for the last 24 hours:

??????????????? No recent migrations

? databases:

??????? {? "_id" : "config",? "primary" : "config",? "partitioned" : true }

9.7、实现分片功能

分片选择 hash分片的方式就可以很明显的看见分片效果了，其他的分片的方式需要很大的数据才能进行分片。查看自己分片的库的大小，然后看下自己设置的块的大小（chunksize），默认是 64MB，多是数据没有达到分块的值。

9.7.1、添加两个分片服务器后，数据库与集合还未启用分片

mongos> show dbs

admin???0.000GB

config??0.157GB

mongos> use school????????? #进入并创建数据库school

switched to db school

mongos> for (var i=1;i<=5000000;i++)db.info.insert({"id":i,"name":"tom"+i})?????????? #创建集合info，并使用循环插入50000条数据

WriteResult({ "nInserted" : 1 })? ? ? #此时50000条数据都在primary（47017）服务器上? ? ? ? ??

9.7.2、使用sh.enableSharding("school")命令启动school数据库分片

mongos> sh.enableSharding("school")

{

??????? "ok" : 1,

??????? "$clusterTime" : {

??????????????? "clusterTime" : Timestamp(1635298856, 6),

??????????????? "signature" : {

??????????????????????? "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

??????????????????????? "keyId" : NumberLong(0)

??????????????? }

??????? },

??????? "operationTime" : Timestamp(1635298856, 6)

}

9.7.3、针对info集合创建索引

mongos> db.info.createIndex({"id":1})

{

??? "raw" : {

??????? "192.168.30.55:47017" : {

??????????? "createdCollectionAutomatically" : false,

??????????? "numIndexesBefore" : 1,

??????????? "numIndexesAfter" : 2,

??????????? "ok" : 1

??????? }

??? },

??? "ok" : 1

}

9.7.4、使用sh.shardCollection("school.info",{"id":1})命令对集合info进行分片

mongos> sh.shardCollection("school.info",{"id":1})

{

??????? "collectionsharded" : "school.info",

??????? "collectionUUID" : UUID("64af5a8d-ae31-4916-b0fc-2859ebb0a65d"),

??????? "ok" : 1,

??????? "$clusterTime" : {

??????????????? "clusterTime" : Timestamp(1635301130, 10),

??????????????? "signature" : {

??????????????????????? "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

??????????????????????? "keyId" : NumberLong(0)

??????????????? }

??????? },

??????? "operationTime" : Timestamp(1635301130, 10)

}

9.7.5、查看分片信息

mongos > sh . status ()

--- Sharding Status ---

? sharding version : {

??????? "_id" : 1 ,

??????? "minCompatibleVersion" : 5 ,

??????? "currentVersion" : 6 ,

??????? "clusterId" : ObjectId ( "62cf9dfd0915271ec0959b9b" )

? }

? shards :

??????? {? "_id" : "shard0000" ,? "host" : "192.168.11.74:47017" ,? "state" : 1 }

??????? {? "_id" : "shard0001" ,? "host" : "192.168.11.74:47018" ,? "state" : 1 }

? active mongoses :

??????? "3.6.3" : 1

? autosplit :

??????? Currently enabled : yes

? balancer :

??????? Currently enabled :? yes

??????? Currently running :? no

??????? Failed balancer rounds in last 5 attempts :? 0

??????? Migration Results for the last 24 hours :

??????????????? 8 : Success

? databases :

??????? {? "_id" : "config" ,? "primary" : "config" ,? "partitioned" : true }

??????????????? config .system .sessions

??????????????????????? shard key : { "_id" : 1 }

??????????????????????? unique : false

??????????????????????? balancing : true

??????????????????????? chunks :

??????????????????????????????? shard0000?????? 1

??????????????????????? { "_id" : { "$minKey" : 1 } } -->> { "_id" : { "$maxKey" : 1 } } on : shard0000 Timestamp ( 1 , 0 )

??????? {? "_id" : "school" ,? "primary" : "shard0000" ,? "partitioned" : true }? ? # 数据库 school 的分片信息

??????????????? school .info

??????????????????????? shard key : { "id" : 1 }? ? # 分片键

??????????????????????? unique : false

??????????????????????? balancing : true

??????????????????????? chunks :? ?? # 可以看到 chunks 均匀分布到两个分片上

??????????????????????????????? shard0000?????? 9? ?# 9+8=17

??????????????????????????????? shard0001?????? 8

??????????????????????? { "id" : { "$minKey" : 1 } } -->> { "id" : 299594 } on : shard0001 Timestamp ( 2 , 0 )

??????????????????????? { "id" : 299594 } -->> { "id" : 599188 } on : shard0001 Timestamp ( 3 , 0 )

??????????????????????? { "id" : 599188 } -->> { "id" : 898782 } on : shard0001 Timestamp ( 4 , 0 )

??????????????????????? { "id" : 898782 } -->> { "id" : 1198376 } on : shard0001 Timestamp ( 5 , 0 )

??????????????????????? { "id" : 1198376 } -->> { "id" : 1497970 } on : shard0001 Timestamp ( 6 , 0 )

??????????????????????? { "id" : 1497970 } -->> { "id" : 1797564 } on : shard0001 Timestamp ( 7 , 0 )

??????????????????????? { "id" : 1797564 } -->> { "id" : 2097158 } on : shard0001 Timestamp ( 8 , 0 )

??????????????????????? { "id" : 2097158 } -->> { "id" : 2396752 } on : shard0001 Timestamp ( 9 , 0 )

??????????????????????? { "id" : 2396752 } -->> { "id" : 2696346 } on : shard0000 Timestamp ( 9 , 1 )

??????????????????????? { "id" : 2696346 } -->> { "id" : 2995940 } on : shard0000 Timestamp ( 1 , 9 )

??????????????????????? { "id" : 2995940 } -->> { "id" : 3295534 } on : shard0000 Timestamp ( 1 , 10 )

??????????????????????? { "id" : 3295534 } -->> { "id" : 3595128 } on : shard0000 Timestamp ( 1 , 11 )

??????????????????????? { "id" : 3595128 } -->> { "id" : 3894722 } on : shard0000 Timestamp ( 1 , 12 )

??????????????????????? { "id" : 3894722 } -->> { "id" : 4194316 } on : shard0000 Timestamp ( 1 , 13 )

??????????????????????? { "id" : 4194316 } -->> { "id" : 4493910 } on : shard0000 Timestamp ( 1 , 14 )

??????????????????????? { "id" : 4493910 } -->> { "id" : 4793504 } on : shard0000 Timestamp ( 1 , 15 )

??????????????????????? { "id" : 4793504 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp ( 1 , 16 )

9.7.6、sh.addShardTag()添加标签

mongos> sh.addShardTag("shard0000","abc01")

mongos> sh.addShardTag("shard0001","abc02")

mongos> sh.status()

--- Sharding Status ---

? sharding version: {

??? "_id" : 1,

??? "minCompatibleVersion" : 5,

??? "currentVersion" : 6,

??? "clusterId" : ObjectId("62cf9dfd0915271ec0959b9b ")

}

? shards:

??? {? "_id" : "shard0000",? "host" : "192.168.30.55:47017",? "tags" : [ "abc01" ] }

??? {? "_id" : "shard0001",? "host" : "192.168.30.55:47018",? "tags" : [ "abc02" ] }

9.8、MongoDB分片服务器管理

9.8.1、根据需求可以添加或删除sharding server

# cp shard_47018.conf mongodb4shard_47019.conf

# vim shard_47019.conf

bind_ip = 0.0.0.0

port = 47019?????????????????????? # 指定服务端口

dbpath =/data /mongodb /shard_47019??? # 数据存储目录

logpath =/data /logs /shard_47019 .log? # 日志文件

logappend =true? ? ? ? ? ? ? ? ? ? ? # 使用追加方式写日志

fork =true? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? # 后台运行

maxConns = 5000??????????????????? # 设定最大同时连接数，默认为 2000

storageEngine =mmapv1?????? # 指定存储引擎为内存映射文件

shardsvr =true??

# 启动实例4??

mongod -f shard_47019.conf? ??

9.8.2、进入route服务器添加新的分片服务器mongo4

# mongo

mongos> sh.addShard("192.168.11.74:47019")? #? 添加一个新的分片服务器?

mongos > sh .status ()?????????????????? # 查看分片服务信息

--- Sharding Status ---

? sharding version : {

??????? "_id" : 1 ,

??????? "minCompatibleVersion" : 5 ,

??????? "currentVersion" : 6 ,

??????? "clusterId" : ObjectId ( "62cf9dfd0915271ec0959b9b" )

? }

? shards :

??????? {? "_id" : "shard0000" ,? "host" : "192.168.11.74:47017" ,? "state" : 1 }

??????? {? "_id" : "shard0001" ,? "host" : "192.168.11.74:47018" ,? "state" : 1 }

??????? {? "_id" : "shard0002" ,? "host" : "192.168.11.74:47019" ,? "state" : 1 }

? active mongoses :

??????? "3.6.3" : 1

? autosplit :

??????? Currently enabled : yes

? balancer :

??????? Currently enabled :? yes

??????? Currently running :? no

??????? Failed balancer rounds in last 5 attempts :? 0

??????? Migration Results for the last 24 hours :

??????????????? 13 : Success

?databases :

??????? {? "_id" : "config" ,? "primary" : "config" ,? "partitioned" : true }

??????????????? config .system .sessions

??????????????????????? shard key : { "_id" : 1 }

??????????????????????? unique : false

??????????????????????? balancing : true

??????????????????????? chunks :

??????????????????????????????? shard0000?????? 1

??????????????????????? { "_id" : { "$minKey" : 1 } } -->> { "_id" : { "$maxKey" : 1 } } on : shard0000 Timestamp ( 1 , 0 )

??????? {? "_id" : "school" ,? "primary" : "shard0000" ,? "partitioned" : true }

??????????????? school .info

??????????????????????? shard key : { "id" : 1 }

??????????????????????? unique : false

??????????????????????? balancing : true

??????????????????????? chunks :? ?? # 可以看到 chunks 均匀分布到三个分片上

??????????????????????????????? shard0000?????? 6? ? # 6+6+5=17

??????????????????????????????? shard0001?????? 6

??????????????????????????? ???? shard0002?????? 5

??????????????????????? { "id" : { "$minKey" : 1 } } -->> { "id" : 299594 } on : shard0002 Timestamp ( 12 , 0 )

??????????????????????? { "id" : 299594 } -->> { "id" : 599188 } on : shard0002 Timestamp ( 14 , 0 )

??????????????????????? { "id" : 599188 } -->> { "id" : 898782 } on : shard0001 Timestamp ( 14 , 1 )

??????????????????????? { "id" : 898782 } -->> { "id" : 1198376 } on : shard0001 Timestamp ( 5 , 0 )

??????????????????????? { "id" : 1198376 } -->> { "id" : 1497970 } on : shard0001 Timestamp ( 6 , 0 )

??????????????????????? { "id" : 1497970 } -->> { "id" : 1797564 } on : shard0001 Timestamp ( 7 , 0 )

??????????????????????? { "id" : 1797564 } -->> { "id" : 2097158 } on : shard0001 Timestamp ( 8 , 0 )

??????????????????????? { "id" : 2097158 } -->> { "id" : 2396752 } on : shard0001 Timestamp ( 9 , 0 )

??????????????????????? { "id" : 2396752 } -->> { "id" : 2696346 } on : shard0002 Timestamp ( 10 , 0 )

??????????????????????? { "id" : 2696346 } -->> { "id" : 2995940 } on : shard0002 Timestamp ( 11 , 0 )

??????????????????????? { "id" : 2995940 } -->> { "id" : 3295534 } on : shard0002 Timestamp ( 13 , 0 )

??????????????????????? { "id" : 3295534 } -->> { "id" : 3595128 } on : shard0000 Timestamp ( 13 , 1 )

??????????????????????? { "id" : 3595128 } -->> { "id" : 3894722 } on : shard0000 Timestamp ( 1 , 12 )

??????????????????????? { "id" : 3894722 } -->> { "id" : 4194316 } on : shard0000 Timestamp ( 1 , 13 )

??????????????????????? { "id" : 4194316 } -->> { "id" : 4493910 } on : shard0000 Timestamp ( 1 , 14 )

??????????????????????? { "id" : 4493910 } -->> { "id" : 4793504 } on : shard0000 Timestamp ( 1 , 15 )

???????????????????????? { "id" : 4793504 } -->> { "id" : { "$maxKey" : 1 } } on : shard0000 Timestamp ( 1 , 16 )

9.8.3、使用db.runCommand({"removeshard":"192.168.11.74:47019"})命令可以删除新添加的分片服务器

mongos> use admin?????????? # 注：在admin db下执行命令。

switched to db admin

mongos> db.runCommand({"removeshard":"192.168.30.55:47019"})

{

??? "msg" : "draining started successfully",

??? "state" : "started",

??? "shard" : "shard0002",

??? "note" : "you need to drop or movePrimary these databases",

??? "dbsToMove" : [ ],

??? "ok" : 1

}

mongos> db.runCommand({"removeshard":"192.168.30.55:47019"})

{

??? "msg" : "removeshard completed successfully",

??? "state" : "completed", #?该命令至少执行两次才能成功删除，执行到state为completed才真正删除，否则就是没有删除成功

??? "shard" : "shard0002",

??? "ok" : 1

}

9.9、配置服务器存储了MongoDB数据库集合分片的详细信息

可以通过以下命令查看

# mongo --port 37017

configsvr> use config

configsvr> show collections??

....

collections

chunks

databases???

....

configsvr> db.chunks.findOne()

configsvr> db.collections.find()

configsvr> db.databases.find()

9.10、分析查询

走分片键查询：db.getCollection("info").find({"id":3345667}).explain("executionStats")

{
????"queryPlanner" : {
????????"mongosPlannerVersion" : 1,
????????"winningPlan" : {
????????????"stage" : "SINGLE_SHARD",? # 数据在一个shard中
????????????"shards" : [
????????????????{
????????????????????"shardName" : "shard0001",? #?只需在分片1上查询
????????????????????"connectionString" : "192.168.11.74:47018",
????????????????????"serverInfo" : {
????????????????????????"host" : "node1",
????????????????????????"port" : 47018,
????????????????????????"version" : "3.6.3",
????????????????????????"gitVersion" : "9586e557d54ef70f9ca4b43c26892cd55257e1a5"
????????????????????},
????????????????????"plannerVersion" : 1,
????????????????????"namespace" : "school.info",
????????????????????"indexFilterSet" : false,
????????????????????"parsedQuery" : {
????????????????????????"id" : {
????????????????????????????"$eq" : 3345667
????????????????????????}
????????????????????},
????????????????????"winningPlan" : {
????????????????????????"stage" : "FETCH",???#?根据索引去检索指定document
????????????????????????"inputStage" : {
????????????????????????????"stage" : "SHARDING_FILTER",?#?通过mongos对分片数据进行查询
????????????????????????????"inputStage" : {
????????????????????????????????"stage" : "IXSCAN",??#?索引扫描
????????????????????????????????"keyPattern" : {
????????????????????????????????????"id" : 1
????????????????????????????????},
????????????????????????????????"indexName" : "id_1",? #?索引名称
????????????????????????????????"isMultiKey" : false,
????????????????????????????????"isUnique" : false,
????????????????????????????????"isSparse" : false,
????????????????????????????????"isPartial" : false,
????????????????????????????????"indexVersion" : 2,
????????????????????????????????"direction" : "forward",
????????????????????????????????"indexBounds" : {
????????????????????????????????????"id" : [
????????????????????????????????????????"[3345667.0, 3345667.0]"
????????????????????????????????????]
????????????????????????????????}
????????????????????????????}
????????????????????????}
????????????????????},
????????????????????"rejectedPlans" : [ ]
????????????????}
????????????]
????????}
????},
????"executionStats" : {
????????"nReturned" : 1,
????????"executionTimeMillis" : 1,
????????"totalKeysExamined" : 1,
????????"totalDocsExamined" : 1,
????????"executionStages" : {
????????????"stage" : "SINGLE_SHARD",
????????????"nReturned" : 1,
????????????"executionTimeMillis" : 1,
????????????"totalKeysExamined" : 1,
????????????"totalDocsExamined" : 1,
????????????"totalChildMillis" : NumberLong(1),
????????????"shards" : [
????????????????{
????????????????????"shardName" : "shard0001",
????????????????????"executionSuccess" : true,
????????????????????"executionStages" : {
????????????????????????"stage" : "FETCH",???#?根据索引去检索指定document
????????????????????????"nReturned" : 1,
????????????????????????"executionTimeMillisEstimate" : 0,??#?表示执行时间，单位毫秒
????????????????????????"works" : 2,
????????????????????????"advanced" : 1,
????????????????????????"needTime" : 0,
????????????????????????"needYield" : 0,
????????????????????????"saveState" : 0,
????????????????????????"restoreState" : 0,
????????????????????????"isEOF" : 1,
????????????????????????"invalidates" : 0,
????????????????????????"docsExamined" : 1,
????????????????????????"alreadyHasObj" : 0,
????????????????????????"inputStage" : {
????????????????????????????"stage" : "SHARDING_FILTER",? #?通过mongos对分片数据进行查询
????????????????????????????"nReturned" : 1,
????????????????????????????"executionTimeMillisEstimate" : 0,
????????????????????????????"works" : 2,
????????????????????????????"advanced" : 1,
????????????????????????????"needTime" : 0,
????????????????????????????"needYield" : 0,
????????????????????????????"saveState" : 0,
????????????????????????????"restoreState" : 0,
????????????????????????????"isEOF" : 1,
????????????????????????????"invalidates" : 0,
????????????????????????????"chunkSkips" : 0,
????????????????????????????"inputStage" : {
????????????????????????????????"stage" : "IXSCAN",??#?索引扫描
????????????????????????????????"nReturned" : 1,
????????????????????????????????"executionTimeMillisEstimate" : 0,
????????????????????????????????"works" : 2,
????????????????????????????????"advanced" : 1,
????????????????????????????????"needTime" : 0,
????????????????????????????????"needYield" : 0,
????????????????????????????????"saveState" : 0,
????????????????????????????????"restoreState" : 0,
????????????????????????????????"isEOF" : 1,
????????????????????????????????"invalidates" : 0,
????????????????????????????????"keyPattern" : {
????????????????????????????????????"id" : 1
????????????????????????????????},
????????????????????????????????"indexName" : "id_1",
????????????????????????????????"isMultiKey" : false,
????????????????????????????????"isUnique" : false,
????????????????????????????????"isSparse" : false,
????????????????????????????????"isPartial" : false,
????????????????????????????????"indexVersion" : 2,
????????????????????????????????"direction" : "forward",
????????????????????????????????"indexBounds" : {
????????????????????????????????????"id" : [
????????????????????????????????????????"[3345667.0, 3345667.0]"
????????????????????????????????????]
????????????????????????????????},
????????????????????????????????"keysExamined" : 1,
????????????????????????????????"seeks" : 1,
????????????????????????????????"dupsTested" : 0,
????????????????????????????????"dupsDropped" : 0,
????????????????????????????????"seenInvalidated" : 0
????????????????????????????}
????????????????????????}
????????????????????}
????????????????}
????????????]
????????}
????},
????"ok" : 1,
????"$clusterTime" : {
????????"clusterTime" : Timestamp(1657762267, 1),
????????"signature" : {
????????????"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
????????????"keyId" : NumberLong(0)
????????}
????},
????"operationTime" : Timestamp(1657762267, 1)
}

不走分片键查询：db.getCollection("info").find({"name":"tom3345667"}).explain("executionStats")

{
????"queryPlanner" : {
????????"mongosPlannerVersion" : 1,
????????"winningPlan" : {
????????????"stage" : "SHARD_MERGE",??#?将各个分片返回数据进行merge
????????????"shards" : [
????????????????{
????????????????????"shardName" : "shard0000",? ?#?分片1
????????????????????"connectionString" : "192.168.11.74:47017",
????????????????????"serverInfo" : {
????????????????????????"host" : "node1",
????????????????????????"port" : 47017,
????????????????????????"version" : "3.6.3",
????????????????????????"gitVersion" : "9586e557d54ef70f9ca4b43c26892cd55257e1a5"
????????????????????},
????????????????????"plannerVersion" : 1,
????????????????????"namespace" : "school.info",
????????????????????"indexFilterSet" : false,
????????????????????"parsedQuery" : {
????????????????????????"name" : {
????????????????????????????"$eq" : "tom3345667"
????????????????????????}
????????????????????},
????????????????????"winningPlan" : {
????????????????????????"stage" : "SHARDING_FILTER",??#?通过mongos对分片数据进行查询
????????????????????????"inputStage" : {
????????????????????????????"stage" : "COLLSCAN",? ?#?全表扫描
????????????????????????????"filter" : {
????????????????????????????????"name" : {
????????????????????????????????????"$eq" : "tom3345667"
????????????????????????????????}
????????????????????????????},
????????????????????????????"direction" : "forward"
????????????????????????}
????????????????????},
????????????????????"rejectedPlans" : [ ]
????????????????},
????????????????{
????????????????????"shardName" : "shard0001",? #?分片2
????????????????????"connectionString" : "192.168.11.74:47018",
????????????????????"serverInfo" : {
????????????????????????"host" : "node1",
????????????????????????"port" : 47018,
????????????????????????"version" : "3.6.3",
????????????????????????"gitVersion" : "9586e557d54ef70f9ca4b43c26892cd55257e1a5"
????????????????????},
????????????????????"plannerVersion" : 1,
????????????????????"namespace" : "school.info",
????????????????????"indexFilterSet" : false,
????????????????????"parsedQuery" : {
????????????????????????"name" : {
????????????????????????????"$eq" : "tom3345667"
????????????????????????}
????????????????????},
????????????????????"winningPlan" : {
????????????????????????"stage" : "SHARDING_FILTER",
????????????????????????"inputStage" : {
????????????????????????????"stage" : "COLLSCAN",??
????????????????????????????"filter" : {
????????????????????????????????"name" : {
????????????????????????????????????"$eq" : "tom3345667"
????????????????????????????????}
????????????????????????????},
????????????????????????????"direction" : "forward"
????????????????????????}
????????????????????},
????????????????????"rejectedPlans" : [ ]
????????????????}
????????????]
????????}
????},
????"executionStats" : {
????????"nReturned" : 1,
????????"executionTimeMillis" : 1179,
????????"totalKeysExamined" : 0,
????????"totalDocsExamined" : 6437426,
????????"executionStages" : {
????????????"stage" : "SHARD_MERGE",? ?#?将各个分片返回数据进行merge
????????????"nReturned" : 1,
????????????"executionTimeMillis" : 1179,
????????????"totalKeysExamined" : 0,
????????????"totalDocsExamined" : 6437426,
????????????"totalChildMillis" : NumberLong(2305),
????????????"shards" : [
????????????????{
????????????????????"shardName" : "shard0000",? #?分片1
????????????????????"executionSuccess" : true,
????????????????????"executionStages" : {
????????????????????????"stage" : "SHARDING_FILTER",??#?通过mongos对分片数据进行查询
????????????????????????"nReturned" : 0,
????????????????????????"executionTimeMillisEstimate" : 1031, #?耗时
????????????????????????"works" : 3142992,
????????????????????????"advanced" : 0,
????????????????????????"needTime" : 3142991,
????????????????????????"needYield" : 0,
????????????????????????"saveState" : 24556,
????????????????????????"restoreState" : 24556,
????????????????????????"isEOF" : 1,
????????????????????????"invalidates" : 0,
????????????????????????"chunkSkips" : 0,
????????????????????????"inputStage" : {
????????????????????????????"stage" : "COLLSCAN",??#?全表扫描
????????????????????????????"filter" : {
????????????????????????????????"name" : {
????????????????????????????????????"$eq" : "tom3345667"
????????????????????????????????}
????????????????????????????},
????????????????????????????"nReturned" : 0,
????????????????????????????"executionTimeMillisEstimate" : 951,
????????????????????????????"works" : 3142992,
????????????????????????????"advanced" : 0,
????????????????????????????"needTime" : 3142991,
????????????????????????????"needYield" : 0,
????????????????????????????"saveState" : 24556,
????????????????????????????"restoreState" : 24556,
????????????????????????????"isEOF" : 1,
????????????????????????????"invalidates" : 0,
????????????????????????????"direction" : "forward",
????????????????????????????"docsExamined" : 3142990
????????????????????????}
????????????????????}
????????????????},
????????????????{
????????????????????"shardName" : "shard0001",? #?分片2
????????????????????"executionSuccess" : true,
????????????????????"executionStages" : {
????????????????????????"stage" : "SHARDING_FILTER",
????????????????????????"nReturned" : 1,
????????????????????????"executionTimeMillisEstimate" : 1051,
????????????????????????"works" : 3294438,
????????????????????????"advanced" : 1,
????????????????????????"needTime" : 3294436,
????????????????????????"needYield" : 0,
????????????????????????"saveState" : 25737,
????????????????????????"restoreState" : 25737,
????????????????????????"isEOF" : 1,
????????????????????????"invalidates" : 0,
????????????????????????"chunkSkips" : 0,
????????????????????????"inputStage" : {
????????????????????????????"stage" : "COLLSCAN",??#?全表扫描
????????????????????????????"filter" : {
????????????????????????????????"name" : {
????????????????????????????????????"$eq" : "tom3345667"
????????????????????????????????}
????????????????????????????},
????????????????????????????"nReturned" : 1,
????????????????????????????"executionTimeMillisEstimate" : 1001,
????????????????????????????"works" : 3294438,
????????????????????????????"advanced" : 1,
????????????????????????????"needTime" : 3294436,
????????????????????????????"needYield" : 0,
????????????????????????????"saveState" : 25737,
????????????????????????????"restoreState" : 25737,
????????????????????????????"isEOF" : 1,
????????????????????????????"invalidates" : 0,
????????????????????????????"direction" : "forward",
????????????????????????????"docsExamined" : 3294436
????????????????????????}
????????????????????}
????????????????}
????????????]
????????}
????},
????"ok" : 1,
????"$clusterTime" : {
????????"clusterTime" : Timestamp(1657762867, 1),
????????"signature" : {
????????????"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
????????????"keyId" : NumberLong(0)
????????}
????},
????"operationTime" : Timestamp(1657762867, 1)
}

十、分片与不分片性能比对

数据量5000000