实战Bugsnag的MongoDB分片集群使用经验

Posted 2021-05-01 InfoQ

Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司，Bugsnag已经使用MongoDB存储超过TB级的文档数据。从Bugsnag的第一个版本开始他们就使用MongoDB存储业务数据。近日，Bugsnag的工程师Simon Maynard在博客上分享了他们的MongoDB分片集群经验，并开源了几个他们常使用的脚本。

带标签的分片（Tag Aware Sharding）

带标签的分片是MongoDB 2.2版本中引入的新特性，此特性支持人为控制数据的分片方式，从而使数据存储到合适的分片节点上。具体的做法是通过对分片节点打tag标识，再将sharding key 按范围对应到这些标识上。在Bugsnag中，每个页面的加载都会涉及到用户集合，比如查询用户是否登录，当应用向主分片上写入大量数据时，所有的用户请求都可能因此变得很慢。为了解决这个问题，Bugsnag对大的分片中的所有分片集合添加了一个标签，这样用户集合就可以存储到一台小型机器上，接下来就可以在内存中直接存取用户数据。关于带标签的分片特性具体如何使用读者也可以参考Asya的这篇博客。

空的数据块

在删除旧的数据时，分片中会出现空的数据块，这样会导致分片不平衡。平衡分片的算法仅仅只是调整分片中数据块的数量，忽略了数据块的大小。在MongoDB 2.6中，新增了一个mergeChunks命令用来将空的数据块合并到连续范围的数据块上，但是这个命令并不可以自动执行，所以Bugsnag编写了一个脚本，以依次检查数据块，并自动合并空的数据块。

大的数据块

大的数据块是指数据块的大小超过配置大小，Bugsnag编写了一个脚本用来发现并调整大数据块的大小。由于需要连接mongod和mongo实例，所以使用了MongoDB的Ruby接口Mongoid。脚本会将大的数据块分割，以保证集群中数据集合分布均衡。

孤立文档（Orphaned documents）

在正常情况下，系统中不会有孤立文档。不过，块迁移过程中的一些失败情况可能会留下孤立文档。孤立文档可以被安全删除，MongoDB 2.6中可以使用cleanupOrphaned命令从分片中删除孤立文档。关于孤立文档的更多内容读者可以参考MongoDB工程师的这篇博文。

MoveChunk目录

MoveChunk目录中的文件是进行分片均衡操作时产生的临时文件，操作完成后，这些文件就可以被删除。Bugsnag使用定时任务来定期清空该目录，MongoDB也支持关闭此功能，读者可以自行测试。

监控分片环境

1.Shell命令

db.collection.getShardDistribution()：查看分片集群中集合是如何分布的。可以通过此命令确定分片上的某个集合相比于其它分片是何时开始突然变大的。

db.stats()：打印每个分片下的数据库状态，可以通过此命令跟踪数据大小。可以传入1024*1024*1024参数来以GB为单位显示数据大小。

sh.status()：显示整个集群中数据块的分布情况，可以用来检查数据是否分布均衡。

2.Mongostat

Mongostat是MongoDB自带的状态检测工具，当MongoDB集群出现问题时，可以运行mongostat –discover来检查集群中各个mongos机器的性能指标。

作者最后总结到运行一个MongoDB分片集群并不难，但是在运行过程中也不时地会有一些小的问题出现。在Bugsnag的博客中有很多MongoDB的博文，读者可以自行学习。