Mongo突然忽略大集合中的索引

Posted 2023-04-14

【中文标题】Mongo突然忽略大集合中的索引

【英文标题】：Mongo suddenly ignores index in large collection

【发布时间】：2015-02-10 17:50:46

【问题描述】：

我有一个包含大约 2200 万个文档的集合，每个文档都非常小。该集合每天以数千条记录增长，因此according to this documentation 我们的查询计划一直无效并毫无问题地重建。 一周前，我向这个集合添加了一个新索引（在后台）并对其执行了一些查询。大约一天后，我们经历了停机，并将其追溯到突然进行全面扫描的例行查询（可能每秒针对该集合运行一次）。我捕获了一些显示这一点的分析数据。 为了解决这个问题，我重新启动了 mongo，它又运行了大约一天，然后再次发生。凭直觉，我删除了我创建的新索引，从那以后我们就再也没有看到过这个问题。 在什么情况下mongo突然开始忽略索引？提供索引提示可能会解决这个问题，但这会让我觉得我为任何集合编写的所有 mongo 查询都应该提供索引提示。真的有必要吗？

编辑：我可以提供有问题的查询：Following.find( user: userDoc._id, followedUser: $exists: true ) 以及捕获的配置文件数据：

    "op" : "query",
    "ns" : "figure1.following",
    "query" : 
        "$query" : 
            "followedUser" : 
                "$exists" : true
            ,
            "user" : ObjectId("54243fce5fce0dcc0d2e23b3")
        ,
        "orderby" : 
            "created" : -1
        
    ,
    "ntoreturn" : 0,
    "ntoskip" : 0,
    "nscanned" : 22542697,
    "nscannedObjects" : 22542697,
    "keyUpdates" : 0,
    "numYield" : 8645,
    "lockStats" : 
        "timeLockedMicros" : 
            "r" : NumberLong(720504269),
            "w" : NumberLong(0)
        ,
        "timeAcquiringMicros" : 
            "r" : NumberLong(26364170),
            "w" : NumberLong(2108)
        
    ,
    "nreturned" : 2,
    "responseLength" : 82,
    "millis" : 390517,
    "execStats" : 
        "type" : "PROJECTION",
        "works" : 22542699,
        "yields" : 178440,
        "unyields" : 178440,
        "invalidates" : 0,
        "advanced" : 2,
        "needTime" : 0,
        "needFetch" : 0,
        "isEOF" : 1,
        "children" : [
            
                "type" : "FETCH",
                "works" : 22542699,
                "yields" : 178440,
                "unyields" : 178440,
                "invalidates" : 0,
                "advanced" : 2,
                "needTime" : 22542696,
                "needFetch" : 0,
                "isEOF" : 1,
                "alreadyHasObj" : 0,
                "forcedFetches" : 0,
                "matchTested" : 2,
                "children" : [
                    
                        "type" : "IXSCAN",
                        "works" : 22542698,
                        "yields" : 178440,
                        "unyields" : 178440,
                        "invalidates" : 0,
                        "advanced" : 22542697,
                        "needTime" : 1,
                        "needFetch" : 0,
                        "isEOF" : 1,
                        "keyPattern" : " created: 1.0 ",
                        "isMultiKey" : 0,
                        "boundsVerbose" : "field #0['created']: [MaxKey, MinKey]",
                        "yieldMovedCursor" : 0,
                        "dupsTested" : 0,
                        "dupsDropped" : 0,
                        "seenInvalidated" : 0,
                        "matchTested" : 0,
                        "keysExamined" : 22542697,
                        "children" : [ ]
                    
                ]
            
        ]
    ,
    "ts" : ISODate("2015-02-06T21:09:43.550Z"),
    "client" : "10.165.78.55",
    "allUsers" : [ ],
    "user" : ""

followedUser 和 user 都单独索引，一起索引，并使用 created 字段。在我在created 字段（您可以在配置文件数据中将其作为排序字段看到）添加索引后大约一天，问题就开始了。我意识到 $exists 不会使用索引，这是我可以改变的，但我担心的是 mongo 似乎选择了一个非常糟糕的查询计划。

附加说明：问题首先发生在 mongo 2.6.4 中，我可以看到有一个与此非常相似的问题 (JIRA-14961)。但是我杀了mongo重新启动后，它运行的是2.6.6，问题又出现了，所以我认为这不是bug 14961的问题。

【问题讨论】：

在无法访问您的数据和索引的情况下，我可以提供的最佳建议是在您的查询中调用 explain() 并将结果发布在这里。

查询计划器选择了不同的索引并为您的查询形状缓存了该查询计划。但是，如果没有看到查询和explain(true) 输出，就无法说明原因。

添加了一些信息，希望对您有所帮助。

这可能是你的问题吗？jira.mongodb.org/browse/SERVER-15802

@AndrewLavers 听起来真的很像！如果您添加它，很高兴将此标记为答案。

【参考方案1】：

我自己也遇到过这个确切的问题，我怀疑这可能是原因：

https://jira.mongodb.org/browse/SERVER-15802

从 2.6.3 升级到 2.6.9 后，我没有看到它再次出现（到目前为止）。