一日一技:如何把MongoDB作为循环队列

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一日一技:如何把MongoDB作为循环队列相关的知识,希望对你有一定的参考价值。

一日一技:如何把MongoDB作为循环队列

技术图片

我们在使用MongoDB的时候,一个集合里面能放多少数据,一般取决于硬盘大小,只要硬盘足够大,那么我们可以无休止地往里面添加数据。

有些时候,我只想把MongoDB作为一个循环队列来使用,期望它有这样一个行为:

1.设定队列的长度为10
2.插入第1条数据,它被放在第1个位置
3.插入第2条数据,它被放在第2个位置
4....
5.插入第10条数据,它被放在第10个位置
6.插入第11条数据,它被放在第1个位置,覆盖原来的内容
7.插入第12条数据,它被放在第2个位置,覆盖原来的内容
8....
MongoDB有一种Collection叫做 capped collection,就是为了实现这个目的而设计的。

普通的Collection不需要提前创建,只要往MongoDB里面插入数据,MongoDB自动就会创建。而 capped collection需要提前定义一个集合为 capped类型。

语法如下:

import pymongo

conn = pymongo.MongoClient()
db = conn.test_capped

db.create_collection(‘info‘, capped=True, size=1024 * 1024 * 10, max=5)

对一个数据库对象使用 create_collection方法,创建集合,其中参数 capped=True说明这是一个 capped collection,并限定它的大小为10MB,这里的 size参数的单位是byte,所以10MB就是1024 1024 10. max=5表示这个集合最多只有5条数据,一旦超过5条,就会从头开始覆盖。

创建好以后, capped collection的插入操作和查询操作就和普通的集合完全一样了:

col = db.info
for i in range(5):
    data = {‘index‘: i, ‘name‘: ‘test‘}
    col.insert_one(data)

这里我插入了5条数据,效果如下图所示:

技术图片

其中,index为0的这一条是最先插入的。

接下来,我再插入一条数据:

data = {‘index‘: 100, ‘name‘: ‘xxx‘}
col.insert_one(data)

此时数据库如下图所示:
技术图片

可以看到,index为0的数据已经被最新的数据覆盖了。

我们再插入一条数据看看:

data = {‘index‘: 999, ‘name‘: ‘xxx‘}
col.insert_one(data)

运行效果如下图所示:
技术图片

可以看到,index为1的数据也被覆盖了。

这样我们就实现了一个循环队列。

MongoDB对 capped collection有特别的优化,所以它的读写速度比普通的集合快。

但是 capped collection也有一些缺点,在MongoDB的官方文档中提到:

If an update or a replacement operation changes the document size, the operation will fail.

You cannot delete documents from a capped collection. To remove all documents from a collection, use the drop() method to drop the collection and recreate the capped collection.
意思就是说, capped collection里面的每一条记录,可以更新,但是更新不能改变记录的大小,否则更新就会失败。

不能单独删除 capped collection中任何一条记录,只能整体删除整个集合然后重建。

kingname
攒钱给产品经理买房。

以上是关于一日一技:如何把MongoDB作为循环队列的主要内容,如果未能解决你的问题,请参考以下文章

一日一技:如何从多个Jupyter Notebook中找到需要代码段

一日一技:如何把多层嵌套的列表展平

一日一技:如何正确获取 MongoDB 集合里面的最后一条数据

一日一技:实现有过期时间的LRU缓存

一日一技:隐患——redis-py的blpop可能由于网络波动导致收不到信息

一日一技:如何让 itertools.tee 线程安全