mongodb千万级写入怎么优化

Posted exman

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mongodb千万级写入怎么优化相关的知识,希望对你有一定的参考价值。

mysql数据库通过java程序导入单表1300w到mongodb,花了大概50分钟,前1000w条数据中每100w条大概要3分钟,之后的300多w条就差不多每100w条要5到6分钟,之后再从其他的mysql表里面导入数据就会越来越慢,请问可以从那些方面可以优化mongodb的写入操作?
这是我记录的花费时间
技术图片

可以确定的是如果只在mysql里面遍历读取这1300w条数据,花费时间是10分钟左右。

可以生成好文档数据,然后用mongoimport  导入, 速度超快!

 

加大内存,mongodb 的热数据是保存在内存的,内存用完了,开始读写硬盘的数据跟MYSQL就差不多了

 

以上是关于mongodb千万级写入怎么优化的主要内容,如果未能解决你的问题,请参考以下文章

MySQL 对于千万级的大表要怎么优化?

Python 读取千万级数据自动写入 MySQL 数据库

MySQL 对于千万级的大表要怎么优化?

MySQL 对于千万级的大表要怎么优化?

MySQL 对于千万级的大表要怎么优化?

MySQL 对于千万级的大表要怎么优化