Mongo Cursor

Posted 2021-01-23 fengzzi

简介

在使用 Java 对数据库进行连接时，都会获取到一个 cursor ，cursor 实际指到的是我们查询数据库的query，而并不是 query 查询到的数据集。

此次在使用 mongo 的 cursor 的过程中，对线上数据库产生了很大压力，在这里对此次的优化过程进行记录。

场景

数据源：Mongo 数据库 4台服务器 4000+表 总共3亿+数据量

背景介绍：即将建立大数据平台，需要将数据源的数据导入到 hbase 中，分为历史数据导入和实时 opLog 数据导入两部分

方案：

1. 多线程历史数据导入
2. 多线程实时数据导入

问题描述：

1. 导入的数据占据资源
   1. 硬盘资源 计算需要占用的硬盘资源，事先确认硬盘资源是否充足
   2. CPU 确认运行脚本的服务器处于半空闲状态
   3. 内存 运行jar包时的脚本配置内存即可
2. 对线上数据库的连接没有释放，导致线上数据库压力
   1. 历史数据导入时，每个线程都会新建连接，之后关闭 #可能没有关闭
   2. 实时数据导入时，轮询产生连接，但是关闭时间较长，导致的连接数增长 #关闭时长较长

解决方法：

1. 历史数据导入时的每个线程所建立的连接，修改逻辑，使其一定被关闭
2. 实时数据导入时的每个线程的读取 opLog 的 cursor ，使其保持活性
3. 创建连接池，确保连接数在一定时间内

知识点

cursor

cursor的获取：find() 方法返回的是一个 FindIterable

1）batchSize(int size)：每次网络请求返回的document条数，比如你需要查询500条数据，mongodb不会一次性全部load并返回给client，而是每次返回batchSize条，遍历完之后后再通过网路IO获取直到cursor耗尽。默认情况下，首次批量获取101个document或者1M的数据，此后每次4M，当然我们可以通过此方法来覆盖默认值，如果文档尺寸较小，则建议batchSize可以大一些。

2）skip(int number)、limit(int number)：同SQL中的limit字句，即表示在符合匹配规则的结果集中skip一定数量的document，并最终返回limit条数据。可以实现分页查询。

3）maxTime(int time,TimeUnit unit)：表示此次操作保持的最长时间，即server端保持cursor状态的最长时间，如果超时server端将移除此cursor，即再次通过此cursor遍历数据将会error。

4）sort(Bson bson)：根据指定field排序，参与排序的字段最好是索引，如果不是，将会在内存中排序，如果参与排序的数据尺寸大于32M，将会抛出error。1表示正序，-1表示倒叙，比如"age":1表示按照age正序排序。

5）noCursorTimeout(boolean timeout)：如果cursor空闲一定时间后（10分钟），server端是否将其移除，默认为false，即server会将空闲10分钟的cursor移除以节约内存。如果为true，则表示server端不需要移除空闲的cursor，而是等待用户手动关闭。无论如何，开发者都需要注意，手动关闭cursor。

6）partial(boolean partial)：对于sharding集群，如果一个或者多个shard不可达，是否允许返回部分数据（只从正常的shard中获取数据）。

7）cursorType()：指定cursor类型，当cursor遍历完毕后是否关闭cursor，默认是关闭，无论何时都建议手动关闭cursor（不管是否耗尽curosr）；当然有些开发场景可能需要保持cursor的活性，遍历到cursor的最后一条后，不关闭cursor，继续等待，此后一段时间内如果有新数据插入到cursor之后，则可以继续遍历，这就是Tailable Cursor，通常对于Capped Collection中使用。目前支持支持3种类型的Cursor：NonTailable、Tailable、TailableAwait。

8）projection(Bson bson)：限定返回结果中需要包含的filed或者数组元素。在6）中我们已经看到相关的几个例子。默认情况下，将会返回document的所有字段，1表示包含，0表示不包含。

连接池

Mongo Client本身即是一个连接池，有默认参数，也可以自己设置参数，建议全局使用同一个mongo的client实例。

NOTE: 连接池里的连接数 = ConnectionsPerHost * threadsAllowedToBlockForConnectionMultiplier

参数说明：来自于http://api.mongodb.com/java/3.2/

com.mongodb

Class MongoClientOptions.Builder

参数名	默认参数值	参数说明
ConnectionsPerHost	100	设置每台主机的最大连接数
Description	null
RequiredReplicaSetName	null	设置群集所需的副本集名称
ConnectTimeout	10000	设置连接超时
HeartbeatConnectTimeout	20000	设置用于群集心跳的连接的连接超时
HeartbeatFrequency	10000	设置心跳频率。这是驱动程序尝试确定群集中每个服务器当前状态的频率。默认值为10，000毫秒
HeartbeatSocketTimeout	20000	设置用于群集心跳的连接的套接字超时
LocalThreshold	15	设置本地阈值
MaxConnectionIdleTime	0	设置池连接的最大空闲时间
MaxConnectionLifeTime	0	设置池连接的最长生存期
MaxWaitTime	120000	设置线程阻塞等待连接的最长时间
MinConnectionsPerHost	0	设置每台主机的最小连接数
MinHeartbeatFrequency	500	设置最小心跳频率。如果驱动程序必须频繁地重新检查服务器的可用性，它至少会在上次检查后等待这么长时间，以避免浪费精力。默认值为500毫秒
ServerSelectionTimeout	30000	以毫秒为单位设置服务器选择超时，这定义了驱动程序在引发异常之前等待服务器选择成功的时间。 值0表示如果没有服务器可用，它将立即超时。负值意味着无限期等待。
SocketTimeout	0	设置socket超时
threadsAllowedToBlockForConnectionMultiplier	5	设置允许阻塞等待连接的线程数的乘数。
socketKeepAlive		设置是否启用套接字保持活动
sslEnabled		设置是否使用SSL。将此设置为true也会将SocketFactory设置为sLSocketFactory。GetDefault ( )并将此设置为false会将SocketFactory设置为SocketFactory。GetDefault ( )
sslInvalidHostNameAllowed		定义是否允许无效主机名。默认为false。在将此设置为真之前要小心，因为这会使应用程序容易受到中间人攻击
readPreference		设置读取首选项
writeConcern		设置写入关注点。
readConcern		设置读取关注点。
codecRegistry		设置编解码器注册表 请注意，DB和DBCollection的实例不使用注册表，因此无需在注册表中包含DBObject的编解码器。
addCommandListener		添加给定的命令侦听器。
socketFactory		设置socket工厂。
cursorFinalizerEnabled		设置是否启用游标终结器
alwaysUseMBeans		设置驱动程序注册的JMX Beans是否应该始终是MBean，而不管VM是Java 6还是更高版本。如果为false，如果虚拟机为Java 6或更高版本，驱动程序将使用MXBeans，如果虚拟机为Java 5，则使用mbean。
dbDecoderFactory		设置解码器工厂
dbEncoderFactory		设置编码器工厂
legacyDefaults		将默认值设置为MongoOptions中的值