mongodb数据库批量插入海量数据时为啥有少部分数据丢失

Posted 2023-03-09

参考技术A 了解了一下MongoDB，感觉还挺牛的，适合海量数据的实时插入，更新，查询，而且支持多条件查询，以及建立多维度的索引。
相比HBase，Hbase对于海量数据的实时插入，更新，查询是没有压力的，而且操作的效率跟数据的量没有关系，即数据量的大小不会影响操作的效率，但是Hbase的实时查询是建立在针对rowkey的查询基础上的，因为Hbase只能对rowkey进行建立索引，查询也只能根据rowkey进行查询，无法实现同MongoDB一样的多条件查询。
小数据的要求对于MongoDB和Hbase都没有影响，因为MongoDB和Hbase都是一种数据库，主要就是用于存储零碎的小数据。
所以感觉如果只是用于海量实时的小数据那么MongoDB可能会好点，但是如果还需要对数据进行统计分析，那么最好还是考虑统计分析的因素。如你使用mapreduce进行数据统计分析，那么hbase可能会更好些，虽然MongoDB也支持mr。 参考技术B 只有让你的热备服务器不在同一个机房电路内，不过一般这是不可能实现的，mongodb的数据存储在内存中，可以通过修改持久化参数SafeMode的safe改为true，即可直接持久化到文件系统中了。