MongoDB大数据高并发读写性能测试报告

Posted 2020-09-16

服务器大小：

单节点部署，磁盘1T，内存128G

并发导入规模：

1，多线程并发导入csv文件

2，csv文件分1万、10万、100万、200万行记录4种大小

3，每个csv对应一个collection

并发查询规模

1，多线程并发查询不同collection

2，分全表查询和局部查询两种场景

性能测试结果：

导入性能

csv文件大小（万行记录）	并发线程数	导入耗时（秒）	累计导入csv文件数量
200	1	60	5000
200	10	105	5000
200	40	330（峰值内存110G）	5000
100	1	20	10000
100	10	32	10000
100	100	203（峰值内存80G）	10000
100	200	478（峰值内存120G）	10000
10	1	4	100000
10	10	6	100000
10	100	39	100000
10	500	370（峰值内存95G）	100000
1	1	1	1000000
1	10	1	1000000
1	100	8	1000000
1	500	32	1000000

查询性能

collection大小（万条记录）	并发线程数	全表查询耗时（秒）	部分查询耗时——查10万条记录（秒）
200	1	5.5	4
200	10	23	6.2
200	40	126	13.7
100	1	1.3	2.4
100	10	8.9	3.7
100	20	11	4
100	40	70	6.2
10	1	0.6	0.5
10	10	0.6	0.5
10	100	5	1.3
10	500	85	5
1	1	0.6	/
1	10	0.4	/
1	100	0.7	/
1	500	2	/