mongodb查询操作分析

Posted 美码师

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mongodb查询操作分析相关的知识,希望对你有一定的参考价值。

背景

mongodb 提供了类sql的数据查询及操作方式,同时也包含了聚合操作、索引等多个机制;
按以往的经验,不当的库表操作或索引模式往往会造成许多问题,如查询操作缓慢、数据库吞吐量低下、CPU或磁盘IO飙升等问题。
因此在应用开发过程中,有必要对DB操作进行审视,尤其是关键业务或复杂条件查询。mongodb 提供了explain方法可以让我们
对 DB查询语句进行分析,提前分析潜在的瓶颈。

查询计划

mongodb 通过查询计划(QueryPlan)描述一个查询语句的执行过程,而通常一个查询操作可能对应多组查询计划。
这些查询计划通过选举机制产生最优计划,作为最终的执行方案。此外mongodb 还提供了查询计划的缓存机制,如下图:

https://docs.mongodb.com/manual/_images/query-planner-diagram.bakedsvg.sv

Diagram of query planner logic

查询操作被映射到一个查询模型(query shape),模型中会包含条件(predicate)、排序(sort)、投影(projection)的定义;
以查询模型作为Key查找已存在的Plan缓存,在找到缓存的下一步仍进一步评估查询性能,若性能评估结果未达标,则 mongodb会淘汰缓存并进入查询计划生成阶段。
每一个计划生成阶段都会包含:

  • 产生候选计划;
  • 评估优选计划;
  • 竞选最优计划;
  • 创建缓存;

在产生最优计划之后,查询执行器将执行当前计划并产生最终结果。

explain 操作

通过下面的语句,可以对当前查询计划展开分析

db.T_FooData.find({
"appId":"s5WrMmrJV_8RBJG17FSVoY995Kga",
"nodeType":"SENSOR",
"creationTime":{
    $gte : ISODate("2017-08-08T10:34:33.125Z"),
    $lt : ISODate("2017-08-08T12:34:33.125Z")
    }
}).explain("executionStats")

输出结果

{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "db.T_FooData",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "$and" : [
                {
                    "appId" : {
                        "$eq" : "s5WrMmrJV_8RBJG17FSVoY995Kga"
                    }
                },
                {
                    "nodeType" : {
                        "$eq" : "SENSOR"
                    }
                },
                {
                    "creationTime" : {
                        "$lt" : ISODate("2017-08-08T12:34:33.125Z")
                    }
                },
                {
                    "creationTime" : {
                        "$gte" : ISODate("2017-08-08T10:34:33.125Z")
                    }
                }
            ]
        },
        "winningPlan" : { ... },
        "rejectedPlans" : [ ... ],
    },
    "executionStats" : {
        "executionSuccess" : true,
        "nReturned" : 62848,
        "executionTimeMillis" : 3058,
        "totalKeysExamined" : 1510833,
        "totalDocsExamined" : 1510833,
        "executionStages" : { ... }

    },
    "serverInfo" : {
        "host" : "NB3000W_MongoDB_01",
        "port" : 50001,
        "version" : "3.4.7",
        "gitVersion" : "4249c1d2b5999ebbf1fdf3bc0e0e3b3ff5c0aaf2"
    },
    "ok" : 1,
    "$gleStats" : {
        "lastOpTime" : Timestamp(1504498101, 1),
        "electionId" : ObjectId("7fffffff0000000000000001")
    }
}

结果说明

  • queryPlanner 描述当前的查询计划;

  • queryPlanner.namespace 描述当前的集合命名空间,{db}.{collectionName}

  • queryPlanner.indexFilterSet 是否设置了indexFilter,Filter决定了查询优化器对于某个查询将如何使用索引

  • queryPlanner.parsedQuery 解析后的查询信息

  • queryPlanner.winningPlan 最优计划

  • queryPlanner.rejectPlans 拒绝的计划列表

  • executionStats 执行过程统计,捕获计划在执行过程中的相关信息

  • executionStats.executionSuccess 是否执行成功

  • executionStats.nReturned 返回条目数量

  • executionStats.executionTimeMilis 执行时间(ms)

  • executionStats.totalKeysExamined 索引检测条目

  • executionStats.totalDocsExamined 文档检测条目

  • executionStats.executionStages 执行阶段详情

explain 模式

mongodb 为 explain 操作提供了几种模式:

  • queryPlanner 默认的模式,仅进行查询计划分析,无法输出执行过程统计;
  • executionStats 执行模式,在查询计划分析后,将执行winningPlan并统计过程信息;
  • allPlansExecution 全计划执行模式,将执行所有计划(包括rejectPlans),并返回过程统计信息;
    executionStats.allPlansExecution 包含了所有计划(除winningPlan之外)的执行过程统计信息

执行计划详解

执行计划将整个过程分解为多个阶段,阶段(stage)以树状结构组织,这点与执行过程是匹配的。

stage 分为多种类型,如下:

阶段 描述
COLLSCAN 全表扫描
IXSCAN 索引扫描
FETCH 根据索引去检索指定document
PROJECTION 限定返回字段
SHARD_MERGE 将各个分片返回数据进行merge
SORT 表明在内存中进行了排序
LIMIT 使用limit限制返回数
SKIP 使用skip进行跳过
IDHACK 针对_id进行查询
SHARDING_FILTER 通过mongos对分片数据进行查询
COUNT 利用db.coll.explain().count()之类进行count运算
COUNTSCAN count不使用用Index进行count
COUNT_SCAN count使用了Index进行count
SUBPLA 未使用到索引的$or查询
TEXT 使用全文索引进行查询

winningPlan 样例

"winningPlan" : {
            "stage" : "FETCH",
            "filter" : {
                "$and" : [
                    {
                        "nodeType" : {
                            "$eq" : "GATEWAY"
                        }
                    },
                    {
                        "creationTime" : {
                            "$lt" : ISODate("2017-08-08T12:34:33.125Z")
                        }
                    },
                    {
                        "creationTime" : {
                            "$gte" : ISODate("2017-08-08T10:34:33.125Z")
                        }
                    }
                ]
            },
            "inputStage" : {
                "stage" : "IXSCAN",
                "keyPattern" : {
                    "appId" : 1
                },
                "indexName" : "appId",
                "isMultiKey" : false,
                "isUnique" : false,
                "isSparse" : false,
                "isPartial" : false,
                "indexVersion" : 1,
                "direction" : "forward",
                "indexBounds" : {
                    "appId" : [
                        "[\\"s5WrMmrJV_8RBJG17FSVoY995Kga\\", \\"s5WrMmrJV_8RBJG17FSVoY995Kga\\"]"
                    ]
                }
            }
        },

字段说明

属性 描述
winningPlan.stage 最优计划stage,FETCH表示根据索引检索文档
winningPlan.filter 最优计划的过滤器,即查询条件
winningPlan.inputStage 最优计划stage的child stage
winningPlan.inputStage.stage child stage,此处是IXSCAN,表示进行index scanning
winningPlan.inputStage.keyPattern 扫描的索引模式
winningPlan.inputStage.indexName 选用索引名称
winningPlan.inputStage.isMultiKey 是否是Multikey,如果索引建立在array上则为true
winningPlan.inputStage.isSparse 是否稀疏索引
winningPlan.inputStage.isPartial 是否分区索引
winningPlan.inputStage.direction 此query的查询顺序,此处是forward,如果用了.sort({w:-1})将显示backward
winningPlan.inputStage.indexBounds 所扫描的索引范围

过程统计详解

executionStats 样例

"executionStats" : {
        "executionSuccess" : true,
        "nReturned" : 62848,
        "executionTimeMillis" : 3058,
        "totalKeysExamined" : 1510833,
        "totalDocsExamined" : 1510833,
        "executionStages" : {
            "stage" : "FETCH",
            "filter" : {
                "$and" : [
                    {
                        "nodeType" : {
                            "$eq" : "GATEWAY"
                        }
                    },
                    {
                        "creationTime" : {
                            "$lt" : ISODate("2017-08-08T12:34:33.125Z")
                        }
                    },
                    {
                        "creationTime" : {
                            "$gte" : ISODate("2017-08-08T10:34:33.125Z")
                        }
                    }
                ]
            },
            "nReturned" : 62848,
            "executionTimeMillisEstimate" : 2765,
            "works" : 1510834,
            "advanced" : 62848,
            "needTime" : 1447985,
            "needYield" : 0,
            "saveState" : 11807,
            "restoreState" : 11807,
            "isEOF" : 1,
            "invalidates" : 0,
            "docsExamined" : 1510833,
            "alreadyHasObj" : 0,
            "inputStage" : {
                "stage" : "IXSCAN",
                "nReturned" : 1510833,
                "executionTimeMillisEstimate" : 792,
                "works" : 1510834,
                "advanced" : 1510833,
                "needTime" : 0,
                "needYield" : 0,
                "saveState" : 11807,
                "restoreState" : 11807,
                "isEOF" : 1,
                "invalidates" : 0,
                "keyPattern" : {
                    "appId" : 1
                },
                "indexName" : "appId",
                "isMultiKey" : false,
                "isUnique" : false,
                "isSparse" : false,
                "isPartial" : false,
                "indexVersion" : 1,
                "direction" : "forward",
                "indexBounds" : {
                    "appId" : [
                        "[\\"s5WrMmrJV_8RBJG17FSVoY995Kga\\", \\"s5WrMmrJV_8RBJG17FSVoY995Kga\\"]"
                    ]
                },
                "keysExamined" : 1510833,
                "dupsTested" : 0,
                "dupsDropped" : 0,
                "seenInvalidated" : 0
            }
        }
}

字段说明

属性 描述
executionStats.executionSuccess 是否执行成功
executionStats.nReturned 返回条目数量
executionStats.executionTimeMilis 执行时间(ms)
executionStats.totalKeysExamined 索引检测条目
executionStats.totalDocsExamined 文档检测条目
executionStats.executionStages 执行阶段详情,大部分字段继承于winningPlan.inputStage
executionStats.executionStages.stage 执行阶段,FETCH表示根据索引获取文档
executionStats.executionStages.nReturned 阶段返回条目数量
executionStats.executionStages.executionTimeMillisEstimate 阶段执行时间
executionStats.executionStages.docsExamined 阶段中文档检测条目
executionStats.executionStages.works 阶段中扫描任务数
executionStats.executionStages.advanced 阶段中向上提交数量
executionStats.executionStages.needTime 阶段中定位索引位置所需次数
executionStats.executionStages.needYield 阶段中获取锁等待时间
executionStats.executionStages.isEOF 阶段中是否到达流的结束位,对于limit限制符的查询可能为0
executionStats.executionStages.inputStage 执行阶段的子阶段,这里是一个IXSCAN的子过程

参考文档

explain 官方说明

http://www.mongoing.com/eshu_explain1
https://docs.mongodb.com/manual/reference/explain-results/#explain-output

关于explain的几种模式
https://docs.mongodb.com/manual/reference/method/cursor.explain/

理解mongo 的查询行为
https://www.compose.com/articles/explain-explain-understanding-mongo-query-behavior/

mongo的查询缓存
https://docs.mongodb.com/manual/core/query-plans/#index-filters

以上是关于mongodb查询操作分析的主要内容,如果未能解决你的问题,请参考以下文章

Mongodb体系结构 文档操作 索引 分析查询性能

MongoDB 查询分析

[MongoDB]Profiling性能分析

mongodb关联查询

MongoDB 查询文档随笔

如何将代码片段存储在 mongodb 中?