处理高频数据时创建数据转储的最佳方法

Posted 2023-04-18

技术标签:

【中文标题】处理高频数据时创建数据转储的最佳方法【英文标题】：Best way to create data dump when dealing with high frequency data 【发布时间】：2016-01-19 06:46:46 【问题描述】：

我正在开发一个监听器/记录器来跟踪事件并稍后进行分析。由于数据可能会扩展到非常大的大小，我希望能够将数据分成块并在每小时之后以特定格式存储。现在，在执行此操作时，我不希望数据库性能受到影响。

目前我正在使用 MongoDB 并查看“分片键”，可能会使用时间戳（小时分辨率）作为键。

另一种方法是拥有一个数据库副本并使用该副本创建数据转储。

请帮我解决这个问题。

【问题讨论】：

【参考方案1】：

您对性能的看法是 100% 正确的

当连接到 MongoDB 实例时，mongodump 会对 mongod 性能产生不利影响。如果您的数据大于系统内存，则查询会将工作集推出内存。

并处理他们给出的解决方案

使用mongodump 从secondary member of the replica set 捕获备份。

MongodB Docs about BackUp and Restore

【讨论】：

以上是关于处理高频数据时创建数据转储的最佳方法的主要内容，如果未能解决你的问题，请参考以下文章