MongoDB分片介绍

Posted 2020-11-21 tsoagta

本文简单介绍MongoDB的分片功能，对分片进行了概述，具体的功能详解，后续文章会陆续推出

分片是把数据分配到多个服务器上的一种方式，MongoDB使用分片实现大数据部署以及高吞吐操作。

 

大数据以及高吞吐量的应用会对单个服务器的容量造成很大的挑战。比如，高频率的查询操作会消耗服务器的CPU，如果数据集大于系统的RAM容量，也会对硬盘的性能造成影响。

 

应对系统容量增加有两种方式：水平扩展和垂直扩展。

 

垂直扩容就是增加单个服务器的容量，比如，使用更高性能的CPU，增加RAM容量，或者增加存储容量。但是单个服务器扩容是有限制性的，何况，云设备提供商在硬件配置上很容易达到容量上限。所以垂直扩容很有限制性。

 

水平扩容就是把数据和系统压力分散到多个服务器上，增加多个服务器以达到增加整个系统容量的目的。尽管单个服务器的速度或者容量并不是很大，但是每个服务器都可以分担一部分系统压力，比单个高性能的服务器更加高效。增加整个部署系统的容量只需要增加几台服务器，这样比增加单个服务的性能更节约成本。缺点就是增加了系统的复杂性以及系统的维护成本。

 

分片集群

分片集群包括以下几个成员：

shard：每个shard包含一组分片数据，每个shard都可以以复制集的方式部署。

mongos:mongos的任务是查询路由，是客户端和分片集群之间的交互接口

config servers：配置服务器存放着系统的元数据以及集群的配置信息。MongoDB3.4之后，配置服务器必须用复制集的方式部署。

 

下图是集群的示意图：

 

分片是把数据分配到多个服务器上的一种方式，MongoDB使用分片实现大数据部署以及高吞吐操作。

 

大数据以及高吞吐量的应用会对单个服务器的容量造成很大的挑战。比如，高频率的查询操作会消耗服务器的CPU，如果数据集大于系统的RAM容量，也会对硬盘的性能造成影响。

 

应对系统容量增加有两种方式：水平扩展和垂直扩展。

 

垂直扩容就是增加单个服务器的容量，比如，使用更高性能的CPU，增加RAM容量，或者增加存储容量。但是单个服务器扩容是有限制性的，何况，云设备提供商在硬件配置上很容易达到容量上限。所以垂直扩容很有限制性。

 

水平扩容就是把数据和系统压力分散到多个服务器上，增加多个服务器以达到增加整个系统容量的目的。尽管单个服务器的速度或者容量并不是很大，但是每个服务器都可以分担一部分系统压力，比单个高性能的服务器更加高效。增加整个部署系统的容量只需要增加几台服务器，这样比增加单个服务的性能更节约成本。缺点就是增加了系统的复杂性以及系统的维护成本。

 

分片集群

分片集群包括以下几个成员：

shard：每个shard包含一组分片数据，每个shard都可以以复制集的方式部署。

mongos:mongos的任务是查询路由，是客户端和分片集群之间的交互接口

config servers：配置服务器存放着系统的元数据以及集群的配置信息。MongoDB3.4之后，配置服务器必须用复制集的方式部署。

 

下图是集群的示意图：

 

MongoDB是在集合级别对数据进行分片的。

片键

MongoDB是使用片键对集合中的文档进行分片的。片键是被分片集合中所有文档都有的一个或者多个字段。

 

对集合分片时需要选择片键，片键一旦选定后就不能再进行修改了。一个分片集合只能有一个片键。

 

对于非空集合，片键上必须有索引。如果集合是空的，MongoDB在创建片键的时候会自动在片键上创建索引。

 

片键的选择会影响系统的性能、高效性以及集群的可扩展性。集群即使有最好的硬件设备，如果片键选择有问题也会使集群很快达到性能瓶颈。片键的选择也会影响集群使用的分片策略。

 

块

MongoDB分片会把数据分配到块中。每个块都含有基于片键的一部分数据。MongoDB通过均衡器实现各个分片服务器的数据的平衡性。

 

分片的优势

读写

MongoDB集群通过分片来分散读写压力，每个分片维护一部分集群操作，这样通过增加分片就可以水平扩展读写能力。

 

如果查询中含有片键，mongos会定位到具体的分片上。这种操作比遍历整个集群要高效的多。

存储

每个分片会维护一组数据，随着数据增长，增加分片就能增加集群的容量。

高可用

分片集群在一个或者多个分片宕机的情况下仍然可以提供读写操作。即使宕机分片上的数据无法操作，其他可用分片上的数据还可以操作。

 

生产环境中，分片建议部署为复制集，提供冗余性以及可用性。

分片前需要考虑的事情

分片集群的基础设施需要经过精细的容量规划、执行、维护。

 

片键的选择必须要谨慎，保证集群的性能和高效性。因为分片后片键不能再修改，也不能取消。如果查询里面没有片键，mongos会遍历整个集群，这种操作会比较耗时。

分片和非分片集合

数据库可以含有分片集合以及非分片集合。分片集合被分配在集群的多个分片服务器中，未分片的集合存放在主分片中。每个数据库都有一个主分片。

 

 

连接到分片集群

要想与分片中的集合进行交互，就必须先连接到mongos路由上。客户端绝对不应该连接到单个分片上进行读写操作。连接mngos的方法和连接到单个mongod实例是一样的。

 

 

分片策略

MongoDB支持两种分片方式：hash分片、范围分片

Hashed 分片

哈希分片就是把片键的值形成一组哈希值，每个分片依据哈希值的范围存放一定量的文档。

 

 

即使片键的值是相近的，但是他们的哈希值很可能不一样，所有就不会分配在一个分片服务去上，这样的好处就是，在分片键上基于范围的查询会分散到多个服务器上进行操作，减少了单个服务器的压力。

Ranged分片

范围分片是依据片键值的范围进行分片的，每个分片服务器存储一定范围的数据。

 

 

片键值相近的数据就很有可能会被分配到同一个块中。对于范围分片来说，片键的选择很重要，片键选择合适就可以大大提高系统的系统，反之亦然。选择的片键不合理会导致数据分布不均匀，反而体现不出分片的优势或者造成系统早早出现系统瓶颈。