MongoDB for OPS 03：分片 shard 集群

Posted 2020-11-22

写在前面的话

 

上一节的复制集也就是主从能够解决我们高可用和数据安全性问题，但是无法解决我们的性能瓶颈问题。所以针对性能瓶颈，我们需要采用分布式架构，也就是分片集群，sharding cluster！

 

 

架构说明

 

架构规划：

我们这里准备了 4 台虚拟机：192.168.200.101-104

在分片集群中，mongodb 包含以下三个角色：mongos（router），config server，shard。

mongos 节点：用于服务连接，不存数据，有点像路由器。

config server 节点：保存集群相关配置以及数据到底存放在那个分片，所以数据非常重要，需要一主两从。

shard 节点：数据存储节点，由多个集群组成，每个集群可以为一主一从一arbiter。

 

端口设计：

shard 集群1：192.168.200.101-103:27001

shard 集群2：192.168.200.101-103:27002

config 集群：192.168.200.101-103:28001

mongos：192.168.200.104:29000

默认主尽量分开，这样能够避免压力都在一台机器上面。这只能算是一个简陋的集群。

 

架构如图：

 

 

配置分片集群

 

1. 所有节点初始化安装：

# 关闭大页内存机制
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
  echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
   echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

# 查看设置结果
cat /sys/kernel/mm/transparent_hugepage/enabled       
cat /sys/kernel/mm/transparent_hugepage/defrag

# 初始化目录
mkdir -p /data/{backup,data,logs,packages,services}
mkdir -p /data/packages/mongodb

# 将安装包上传到：/data/packages/mongodb 下

# 解压
cd /data/packages/mongodb
tar -zxf mongodb-linux-x86_64-rhel70-4.2.1.tgz
mv mongodb-linux-x86_64-rhel70-4.2.1 /data/services/mongodb

# 配置基础目录
cd /data/services/mongodb
rm -f LICENSE-Community.txt MPL-2 README THIRD-PARTY-NOTICES THIRD-PARTY-NOTICES.gotools

 

2. 所有节点配置环境变量：

cat >> /etc/profile << EOF
# mongodb env
export MONGODB_HOME=\'/data/services/mongodb\'
export PATH=\\$PATH:\\${MONGODB_HOME}/bin
EOF

# 环境变量生效
source /etc/profile

# 查看版本
mongo --version

 

3. 101-103 节点初始化目录设计：

cd /data/services
mkdir -p mongodb-shard1/{data,config,logs}
mkdir -p mongodb-shard2/{data,config,logs}
mkdir -p mongodb-config/{data,config,logs}

结构如下：

/data/services/
├── mongodb         -- mongodb 安装目录
│   └── bin
├── mongodb-config  -- config 节点根目录
│   ├── config
│   ├── data
│   └── logs
├── mongodb-shard1  -- shard 1 节点根目录 
│   ├── config
│   ├── data
│   └── logs
└── mongodb-shard2  -- shard 2 节点根目录
    ├── config
    ├── data
    └── logs

 

4. 101-103 节点构建 shard 1 集群：

添加配置：注意红色部分根据节点修改，蓝色部分为需要注意的

cat > /data/services/mongodb-shard1/config/shard.conf << EOF
# 系统相关
systemLog:
    destination: file
    path: "/data/services/mongodb-shard1/logs/shard.log"
    logAppend: true

# 存储相关
storage:
    journal:
        enabled: true
    dbPath: "/data/services/mongodb-shard1/data"
    directoryPerDB: true
    wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            directoryForIndexes: true
        collectionConfig:
            blockCompressor: zlib
        indexConfig:
            prefixCompression: true
            
# 网络相关
net:
    bindIp: 192.168.200.101,127.0.0.1
    port: 27001

# 复制相关
replication:
    oplogSizeMB: 2048
    replSetName: my_shard_1
    
# 分片相关
sharding:
    clusterRole: shardsvr

# 进程相关
processManagement:
    fork: true
    pidFilePath: "/data/services/mongodb-shard1/logs/shard.pid"
EOF

 

启动节点：

mongod -f /data/services/mongodb-shard1/config/shard.conf

 

在 101 上登录配置复制集：

mongo --port 27001

配置：注意蓝色部分为我们配置文件中定义的。

use admin

config = {_id: "my_shard_1", members:[
{_id: 0, host: \'192.168.200.101:27001\'},
{_id: 1, host: \'192.168.200.102:27001\'},
{_id: 2, host: \'192.168.200.103:27001\', "arbiterOnly": true}
]}

rs.initiate(config)

rs.status()
rs.isMaster()

结果如图：

 

5. 101-103 节点构建 shard 2 集群，和 1 大致相同，注意目录，my_shard_2 名字，端口就行。

config = {_id: "my_shard_2", members:[
{_id: 0, host: \'192.168.200.101:27002\', "arbiterOnly": true},
{_id: 1, host: \'192.168.200.102:27002\'},
{_id: 2, host: \'192.168.200.103:27002\'}
]}

 

在 102 上面登录初始化复制集，结果如下：

 

6. 101-103 节点配置 config：

配置文件：红色部分为不通节点需要修改的，蓝色部分为需要注意的

cat > /data/services/mongodb-config/config/config.conf << EOF
# 系统相关
systemLog:
    destination: file
    path: "/data/services/mongodb-config/logs/config.log"
    logAppend: true

# 存储相关
storage:
    journal:
        enabled: true
    dbPath: "/data/services/mongodb-config/data"
    directoryPerDB: true
    wiredTiger:
        engineConfig:
            cacheSizeGB: 1
            directoryForIndexes: true
        collectionConfig:
            blockCompressor: zlib
        indexConfig:
            prefixCompression: true
            
# 网络相关
net:
    bindIp: 192.168.200.101,127.0.0.1
    port: 28001

# 复制相关
replication:
    oplogSizeMB: 2048
    replSetName: configReplSet
    
# 分片相关
sharding:
    clusterRole: configsvr

# 进程相关
processManagement:
    fork: true
    pidFilePath: "/data/services/mongodb-config/logs/config.pid"
EOF

 

启动服务：

mongod -f /data/services/mongodb-config/config/config.conf

 

在 103 登录节点初始化：

mongo --port 28001 admin

配置：

config = {_id: "configReplSet", members:[
{_id: 0, host: \'192.168.200.101:28001\'},
{_id: 1, host: \'192.168.200.102:28001\'},
{_id: 2, host: \'192.168.200.103:28001\'}
]}

rs.initiate(config)

rs.isMaster()

结果如图：

 

7. 此时 101-103 三台服务器的服务运行如下：

 

8. 此时三个集群以及建立完成，但是它们是完全隔离的三个集群。所以需要另外一个东西把它们关联起来。

在 104 上面新增 mongos：

cd /data/services/
mkdir -p mongodb-mongos1/{data,logs,config}

 

添加配置文件：注意红色部分，名称，还有 config 集群各个节点的地址

cat > /data/services/mongodb-mongos1/config/mongos.conf << EOF
# 系统相关
systemLog:
    destination: file
    path: "/data/services/mongodb-mongos1/logs/mongos.log"
    logAppend: true
    
# 网络相关
net:
    bindIp: 192.168.200.104,127.0.0.1
    port: 29001

# 分片相关
sharding:
    configDB: configReplSet/192.168.200.101:28001,192.168.200.102:28001,192.168.200.103:28001

# 进程相关
processManagement:
    fork: true
    pidFilePath: "/data/services/mongodb-mongos1/logs/mongos.pid"
EOF

 

启动节点：注意这里启动节点和启动 mongodb 不同

mongos -f /data/services/mongodb-mongos1/config/mongos.conf

 

9. 连接 mongos 添加 shard：

mongo --port 29001 admin

配置：

db.runCommand( { addshard : "my_shard_1/192.168.200.101:27001,192.168.200.102:27001,192.168.200.103:27001",name:"shard1"} )
db.runCommand( { addshard : "my_shard_2/192.168.200.101:27002,192.168.200.102:27002,192.168.200.103:27002",name:"shard2"} )

如图：

 

查看分片：

db.runCommand({listshards:1})

如图：

也可以查看分片集群状态：

sh.status()

至此，分片集群搭建完成！

 

 

使用集群

 

当我们在存数据的时候，加入一张表有一千万数据，按照系统自带的分片策略，可能导致多个 shard 集群数据不均，然后整个集群的性能得不到充分的利用。

针对这个问题，mongdb 目前提供了两种分片规则配置：Range 和 Hash。

Range：根据某个字段将某范围内的放到指定节点，如 id < 50000 的放到集群 1 这样。该分片方式存在一个问题，因为数据的热度可能不一样，有可能最新的数据访问频繁程度高一些，这样导致请求大多可能都落在数据比较新的集群，导致服务器忙的忙死，闲的闲死，无法做到负载的均衡。

Hash：通过一定的算法将数据存到某个集群，这样的数据是随机的，也不知道访问的数据到底在哪一个。这样数据量越多，那么服务器性能占用就越接近均衡。

 

Range 配置（mongos 节点）：

1. 给指定库（hello）开启分片功能：

use admin
db.runCommand({enablesharding: "hello"})

 

2. 给指定库（hello）下面指定表（t1）创建索引和分片：

# 创建索引
use hello
db.t1.ensureIndex({id:1})

# 开启分片
use admin
db.runCommand({shardcollection: "hello.t1", key: {id:1}})

 

3. 录入100万数据：注意，如果数据量太少可能只会落在一个节点

use hello
for(i=1;i<=1000000;i++){db.t1.insert({"id":i,"name":"zhangsan","date":new Date()})}

 

查看记录数量：

db.t1.count()

 

4. 去分片节点查看数据：

注意，当数据量太小装满一个 chunk，所以最终数据还是在一个 shard 上。

 

Hash 分片配置（推荐使用）：

1. 给指定库（world）开启分片功能：

use admin
db.runCommand({enablesharding: "world"})

 

2. 给指定库（world）下面指定表（t2）创建索引和分片：

# 创建索引
use world
db.t2.ensureIndex({id: "hashed"})

# 分片
use admin
sh.shardCollection("world.t2", {id: "hashed"})

 

3. 录入 10 万数据：

use world
for(i=1;i<100000;i++){db.t2.insert({"id":i,"name":"zhangsan","date":new Date()})}

 

4. 登录 shard 节点查看数据：

use world
db.t2.count()

shard 1：

shard 2：

可以看到，大致相当，几百条数据差异不用在意。

 

其它命令：

# 查看所有开启分片的库
db.databases.find( { "partitioned": true } )

# 查看分片的键
db.collections.find().pretty()

 

 

balancer

 

mongodb 会自动巡查所有 shard 节点上的 chunk 情况，并自动迁移。如节点删除的时候。

但是迁移存在一个问题，会产生大量的 IO，如果是在业务繁忙期间，会影响业务。

于是我们便需要 balancer 来对 chunk 迁移的时间进行调整。

设置方法：

use config

# 查看状态
sh.getBalancerState()

# 开启
sh.setBalancerState(true)

# 设置时间
db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )

# 查看设置结果
sh.getBalancerWindow()

 

当然，也可以通过查看 shard 状态查看：

sh.status()

如图：

该操作需要避开备份和业务高峰期！至此，分破集群大致说到这里。