mongo ttl索引

Posted 鸾舞春秋

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了mongo ttl索引相关的知识，希望对你有一定的参考价值。

TTL索引是MongoDB中一种特殊的索引， 可以支持文档在一定时间之后自动过期删除，目前TTL索引只能在单字段上建立，
并且字段类型必须是date类型或者包含有date类型的数组（如果数组中包含多个date类型字段，则取最早时间为过期时间）
 
当你在集合中某一个字段建立TTL索引后，后台会有一个单线程，通过不断查询（默认60s一次）索引的值来判断document是否有过期，
并且删除文档的动作还依据mongod实例的负载情况，如果负载很高，可能会稍微延后一段时间再删除。
还有一个需要注意的地方，在复制集成员中，TTL后台线程只删除primary的过期数据，如果此实例变为secondary角色，则后台线程闲置
 
限制条件：
有一下集中情况是无法使用TTL索引的
①TTL索引是单字段索引，混合索引不支持TTL，并且也会忽略expireAfterSeconds属性
②在_id 主键上不能建立TTL索引
③在capped collection中不能建立TTL索引，因为MongoDB不能从capped collection中删除文档
④你不能使用createIndex()去更改已经存在的TTL索引的expireAfterSeconds值，如果想更改expireAfterSeconds，可以使用collMod命令，
否则你只能删除索引，然后重建了
⑤你不能在已有索引的字段上再创建TTL索引了，如果你想把非TTL索引改为TTL索引，那就只能删除重建索引了
 
验证：
虽然已经实现了晚上集中自动删除的功能，但是还是担心删除过大数量时负荷问题，随进行了简单测试，一查看TTL索引在亿级别集合中删除140万过期数据的消耗
测试配置：
     OS：Vm虚拟机
     CPU: 4
     内存：8
集合数据量：
> db.t1.count()
104273617
因为我制造测试数据时，_id是顺序增加的，所以我直接查看_id=1500000的那笔数据的createTime，然后自己计算一下此createTime和当前时间的时间差，
随后根据这个时间差来更改expireAfterSeconds的值，以让这150万数据5分钟后过期并删除。
在修改完expireAfterSeconds后，就严密延时“ vmstat 1 ” 命令的输出数据；
我的测试结果：
删除操作整个过程在90秒左右完成；
CPU最高占用90%，平均在50%
内存占用3G
这个也是特别准确的模拟情况，只是粗略的了解一下TTL索引的资源消耗，以决定是不是需要这样的方式来实现删除过期数据
          监控vmstat的截图：

 

创建TTL索引方法：
和普通索引的创建方法一样，只是会多加一个属性而已
例：在log_events的集合中，createTime 字段上建立一小时后过期的TTL索引
   
[sql] view plain copy
 
  1.  >db.log_events.createIndex( { "createTime": 1 },     ---字段名称   
  2.                                 { expireAfterSeconds: 60*60 } )     ---过期时间（单位秒）  
  3. >db.log_events.getIndexes()     ---查看索引  
  4. [  
  5.         {  
  6.                 "v" : 1,  
  7.                 "key" : {  
  8.                         "_id" : 1  
  9.                 },  
  10.                 "name" : "_id_",  
  11.                 "ns" : "tt.t1"  
  12.         },  
  13.         {  
  14.                 "v" : 1,  
  15.                 "key" : {  
  16.                         "createTime" : 1  
  17.                 },  
  18.                 "name" : "createTime_1",  
  19.                 "ns" : "tt.t1",  
  20.                 "expireAfterSeconds" : 3600  
  21.         }  
  22. ]  
修改TTL索引的expireAfterSeconds属性值：
注：如果想更改过期时间expireAfterSeconds，可以使用collMod方法，要不然你只能只用dropIndex(),createIndex()方法重建索引了，我想这样的方法在亿级数据量下是很头疼的
[sql] view plain copy
 
  1. db.runCommand( { collMod: "log_events",     ---集合名  
  2.                 index: { keyPattern: { createTime: 1 },     ---createTime为具有TTL索引的字段名  
  3.                           expireAfterSeconds: 7200          ---修改后的过期时间(秒)  
  4.                         }})  
虽然上面的方法可以实现自动过期删除，但是如果白天业务很忙，频繁的删除数据势必会增加负载，所以我想着晚上定时删除过期数据（如果晚上业务量少的话）
方法如下：
增加一个expireTime字段（用于指定过期时间），expireAfterSeconds属性值设置为0，
注：上面的createTime字段就不需要再有TTL索引了，这个expireTime的时间就需要在插入时指定上
[sql] view plain copy
 
  1. >db.log_events.createIndex( { "expireTime": 1 },     ---字段名称  
  2.                                 { expireAfterSeconds: 0 } )     ---过期时间（单位秒）  
  3. >db.log_events.insert( {  
  4.   "expireTime": new Date(‘Jan 22, 2016 23:00:00‘),     ---此文档将在2016-1-22的23点自动删除  
  5.   "logEvent": 2,  
  6.   "logMessage": "Success!"} )  


这样我们就实现了，指定时间自动删除的动作了

一、TTL索引

创建方法
        db.collection.createIndex(keys, options)
        options:
                expireAfterSeconds 指定多少秒或者包含日期值的数组

创建示例
        db.eventlog.createIndex( { "lastModifiedDate": 1 }, { expireAfterSeconds: 3600 } )  

何时失效
        在指定的时间达到后失效，也即是索引字段的值加上一个特定的秒数之后
        如果索引字段是一个数组，即索引字段上存在着多个日期值，此时MongoDB取最小值加上失效时间(lowest())
        对于非日期字段或不包含日期数组的索引字段，文档不会失效
        对于不包含索引字段的文档，文档不会失效

删除操作
        mongod的一个后台线程会读取索引的值并将失效的文档从集合移除
        当TTL线程被激活后，可以从db.currentOp()或者从profile观察到删除操作

何时删除
        当基于后台方式创建索引时，TTL线程能够在索引创建期间开始删除失效文档
        当基于前台方式创建索引时，TTL线程在索引创建完成后开始删除失效文档      
        TTL索引的删除不能完全保证失效期后一定删除，存在一定延迟(取决于mongod的工作负载)
        TTL删除文档后台线程每60s移除失效文档(因此可能存在已过失效期，文档还在的情形)
        在副本集环境中，TTL后台线程仅仅在主副本上工作，辅助副本上由复制操作实现
        在使用TTL索引查询时，与使用非TTL索引一样

一些限制
        不能基于已经存在索引的字段创建TTL索引以及非日期字段创建TTL索引，文档不会失效
        TTL索引不支持基于多个字段的复合索引
        不支持定长集合

二、TTL索引示例

# mongo --shell localhost:27000 TTLData.js  
MongoDB shell version: 3.2.11
connecting to: localhost:27000/test

repSetTest:PRIMARY> addTTLTestData()  //添加集合数据
Create three records in database each with a create time that is 1 minute apart
Created three test documents, oldest being 4 mins old
Now create a TTL index with expiry of 5 mins on the createDate field as follows
db.ttlTest.ensureIndex({createDate:1}, {expireAfterSeconds:300})

repSetTest:PRIMARY> db.ttlTest.find()   //当前向集合里插入了3个文档
{ "_id" : 1, "createDate" : ISODate("2017-03-10T03:23:01.169Z") }
{ "_id" : 2, "createDate" : ISODate("2017-03-10T03:24:01.169Z") }
{ "_id" : 3, "createDate" : ISODate("2017-03-10T03:25:01.169Z") }

//下面为测试集合上的文档添加索引，即5分钟后索引失效
repSetTest:PRIMARY> db.ttlTest.createIndex({createDate:1}, {expireAfterSeconds:300})
{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 1,  // Author : Leshami
        "numIndexesAfter" : 2,   // Blog   : http://blog.csdn.net/leshami
        "ok" : 1
}

//查找文档
repSetTest:PRIMARY> db.ttlTest.find()
{ "_id" : 1, "createDate" : ISODate("2017-03-10T03:23:01.169Z") }
{ "_id" : 2, "createDate" : ISODate("2017-03-10T03:24:01.169Z") }
{ "_id" : 3, "createDate" : ISODate("2017-03-10T03:25:01.169Z") }

//当指定时间到期后，文档被删除，如下，查询不到任何文档
repSetTest:PRIMARY> db.ttlTest.find()
 

以上是关于mongo ttl索引的主要内容，如果未能解决你的问题，请参考以下文章

如何为特定的mongo文档实现TTL

mongo ttl index expireAfterSeconds

在 mongo 中创建条件 TTL

mongodb 设置自动删除过期数据

MongoDB——索引属性之TTL索引（TTL Indexes）

MongoDB——索引属性之TTL索引（TTL Indexes）