MongoDBMongoDB管理：使用killOp干掉Long Running Operation

Posted 2020-11-08 oDoraemon

http://www.mongoing.com/archives/2563

MongoDB提供了killOp请求，用于干掉运行时间很长的请求，killOp通常需要与currentOp组合起来使用；先根据currentOp查询到请求的opid，然后根据opid发送killOp的请求。

currentOp

currentOp的使用，参考官方文档

currentOp会将后端Mongod上正在执行的请求都列出来，也可根据查询条件（如请求类型，请求是否正在等待锁，请求操作的DB或collection）来进行过滤。

例1：查询所有正在等待锁的写操作

db.currentOp(
   {
     "waitingForLock" : true,
     $or: [
        { "op" : { "$in" : [ "insert", "update", "remove" ] } },
        { "query.findandmodify": { $exists: true } }
    ]
   }
)

例2：查询所有操作db1并且执行时间已超过3s的请求

db.currentOp(
   {
     "active" : true,
     "secs_running" : { "$gt" : 3 },
     "ns" : /^db1\./
   }
)

currentOp的过滤条件包括

1. 请求操作类型，insert、update、delete…
2. 请求对应的connectionId，threadId
3. 请求是否正在等待锁
4. 请求执行时间
5. 请求操作的DB或collection
6. 请求query的内容
7. …

killOp

currentOp的输出结果里，每个请求包含一个opid字段，有了opid，就可以发送killOp来干掉对应的请求。

db.killOp(opid)

要了解killOp的意义，需要先搞清楚几个问题

客户端到Monogd Server连接断掉后，连接上执行的请求是否会立即结束？

比如你通过mongo shell，发送了一个createIndex的请求，给某个包含1000w个文档的集合建立索引，这个请求会耗时很久，你想提前中止请求，Ctrl-C停掉了mongo shell，此时mongo shell到server的连接会关闭掉。

但后端createIndex的请求（MongoDB每个连接的请求由一个对应的线程来处理）不会立即结束，而是会一直执行下去，直到createIndex结束，给客户端发送应答时，发现连接已经关闭，然后线程才退出。

为了让createIndex早点结束，你就需要killOp来帮忙，通过currentOp找到craeteIndex请求的opid，然后发送killOp，createIndex会在下个『检查点』就结束执行，整个线程退出。

发送killOp后，请求是否会立即结束？

killOp的实现原理如下

每个连接对应的服务线程存储了一个killPending的字段，当发送killOp时，会将该字段置1；请求在执行过程中，可以通过不断的调用OperationContext::checkForInterrupt()来检查killPending是否被设置，如果被设置，则线程退出。

一个请求要支持killOp，必须在请求的处理逻辑里加上checkForInterrupt()检查点才行，否则即使发送了killOp，也只能等待请求完全处理完毕线程才会退出。

比如createIndex的处理逻辑里包含了类似如下的代码，在createIndex的循环过程中，一旦killPending被置1了，createIndex的执行可以在当前循环结束时退出。

while (!createIndexFinished) {
    createIndexForOneElement();
    checkForInterupt();
}

所以发送killOp后，请求要执行到下一个『检查点』线程才会退出，MongoDB在很多可能耗时长的请求中，都加入了checkForInterrupt()检查点，如创建索引，repair database，mapreduce、aggregation等。