Mongo分片+副本集集群搭建
Posted dingkailinux
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Mongo分片+副本集集群搭建相关的知识，希望对你有一定的参考价值。
一. 概念简单描述
1. MongoDB分片集群包含组件: mongos,configserver,shardding分片
2. Mongos:路由服务是Sharded cluster的访问入口,本身不存储数据
(1) 负载处理客户端连接;
(2) 负责集群数据的分片
3. Configserver: 配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态， 这样mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失.
4. 分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载,基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）
(1) 分片节点可以是一个实例,也可以说一个副本集集群
(2) 副本集集群中的仲裁节点(Arbiter),只负责在主节点宕机时,将从节点选举为主节点
二.MongoDB分片+副本集集群部署环境
1.服务器信息(实际服务器配置,看需求,根据自身情况决定)
2.服务端口
3.软件版本
(1)系统: Centos7.4
(2)Mongo: Percona mongo 3.4
(3)supervisord : 3.3.4
二. 集群部署
1. 安装mongo
(1) 下载软件包
#所有服务器操作
mkdir -p /opt/upload/mongo_packge cd /opt/upload/mongo_packge wget ‘https://www.percona.com/downloads/percona-server-mongodb-3.4/percona-server-mongodb-3.4.14-2.12/binary/redhat/7/x86_64/percona-server-mongodb-3.4.14-2.12-r28ff075-el7-x86_64-bundle.tar‘
(2)解压软件包并安装mongo
# 所有节点操作
mkdir -p rpm tar -xf percona-server-mongodb-3.4.14-2.12-r28ff075-el7-x86_64-bundle.tar -C rpm/ cd rpm yum -y install ./*.rpm
2. 部署configserver
(1) 创建configserver相关目录
# mongos-01, mongos-02, mongos-03操作
mkdir -p /opt/configserver/configserver_conf mkdir -p /opt/configserver/configserver_data mkdir -p /opt/configserver/configserver_key mkdir -p /opt/configserver/configserver_log
(2) 创建配置文件
# mongos-01, mongos-02, mongos-03操作
cat <<EOF> /opt/configserver/configserver_conf/configserver.conf dbpath=/opt/configserver/configserver_data directoryperdb=true logpath=/opt/configserver/configserver_log/config.log bind_ip = 0.0.0.0 port=21000 maxConns=10000 replSet=configs configsvr=true logappend=true fork=true httpinterface=true #auth=true #keyFile=/opt/configserver/configserver_key/mongo_keyfile EOF chown -R mongod:mongod /opt/configserver
(3) 启动configserver
# mongos-01, mongos-02, mongos-03操作
/usr/bin/mongod -f /opt/configserver/configserver_conf/configserver.conf
(4) 创建configserver副本集
# mongos-01, mongos-02, mongos-03中任意节点操作
mongo --port 21000 #登陆mongo config = {_id : "configs",members : [{_id : 0, host : "172.18.6.87:21000" },{_id : 1, host : "172.18.6.86:21000" },{_id : 2, host : "172.18.6.85:21000" }]} #配置副本集成员节点 rs.initiate(config) #初始化副本集
3. 部署sharding01分片副本集(本次部署两组副本集,每组副本集作为一个分片节点)
(1) 创建程序相关目录 #操作服务器shardding01_arbitration-01, shardding01_mongodb-01, shardding01_mongodb-02 mkdir -p /opt/mongodb/mongodb_data mkdir -p /opt/mongodb/mongodb_keyfile mkdir -p /opt/mongodb/ mongodb_log chow -R mongod:mongod /opt/mongodb/ mongodb_log (2) 修改配置文件(shardding01_arbitration-01节点的cacheSizeGB参数,调整为2G) #操作服务器shardding01_arbitration-01, shardding01_mongodb-01, shardding01_mongodb-02 cat <<EOF >/etc/mongod.conf # mongod.conf, Percona Server for MongoDB # for documentation of all options, see: # http://docs.mongo.org/manual/reference/configuration-options/ # Where and how to store data. storage: dbPath: /opt/mongodb/mongodb_data directoryPerDB: true journal: enabled: true # engine: mmapv1 # engine: rocksdb engine: wiredTiger # engine: inMemory # Storage engine various options # More info for mmapv1: https://docs.mongo.com/v3.4/reference/configuration-options/#storage-mmapv1-options # mmapv1: # preallocDataFiles: true # nsSize: 16 # quota: # enforced: false # maxFilesPerDB: 8 # smallFiles: false # More info for wiredTiger: https://docs.mongo.com/v3.4/reference/configuration-options/#storage-wiredtiger-options wiredTiger: engineConfig: cacheSizeGB: 20 # checkpointSizeMB: 1000 # statisticsLogDelaySecs: 0 # journalCompressor: snappy # directoryForIndexes: false # collectionConfig: # blockCompressor: snappy # indexConfig: # prefixCompression: true # More info for rocksdb: https://github.com/mongo-partners/mongo-rocks/wiki#configuration # rocksdb: # cacheSizeGB: 1 # compression: snappy # maxWriteMBPerSec: 1024 # crashSafeCounters: false # counters: true # singleDeleteIndex: false # More info for inMemory: https://www.percona.com/doc/percona-server-for-mongo/3.4/inmemory.html#configuring-percona-memory-engine # inMemory: # engineConfig: # inMemorySizeGB: 1 # statisticsLogDelaySecs: 0 # Two options below can be used for wiredTiger and inMemory storage engines #setParameter: # wiredTigerConcurrentReadTransactions: 128 # wiredTigerConcurrentWriteTransactions: 128 # where to write logging data. systemLog: destination: file logAppend: true path: /opt/mongodb/mongodb_log/mongod.log processManagement: fork: true pidFilePath: /opt/mongodb/mongodb_log/mongod.pid # network interfaces net: port: 22000 bindIp: 0.0.0.0 maxIncomingConnections: 100000 wireObjectCheck : true http: JSONPEnabled: false RESTInterfaceEnabled: false #security: # authorization: enabled # keyFile: /opt/mongodb/mongodb_keyfile/mongo_keyfile #operationProfiling: replication: replSetName: "sharding01" sharding: clusterRole: shardsvr archiveMovedChunks: true ## Enterprise-Only Options: #auditLog: #snmp: EOF (3) 修改systemd mongo的管理程序文件 #操作服务器shardding01_arbitration-01, shardding01_mongodb-01, shardding01_mongodb-02 sed -i ‘s#64000#100000#g‘ /usr/lib/systemd/system/mongod.service #修改程序打开文件数 sed -i ‘s#/var/run/mongod.pid#/opt/mongodb/mongodb_log/mongod.pid#g‘ /usr/lib/systemd/system/mongod.service #修改pid文件的位置 systemctl daemon-reload (3) 启动monod #操作服务器shardding01_arbitration-01, shardding01_mongodb-01, shardding01_mongodb-02 systemctl restart mongod systemctl enable mongod (4) 配置副本集 mongo --port 22000 config = {_id : "sharding01",members : [{_id : 0, host : "172.18.6.89:22000" },{_id : 1, host : "172.18.6.88:22000" },{_id : 2, host : "172.18.6.92:22000",arbiterOnly:true}]} #配置副本集节点, arbiterOnly:true 表示为仲裁节点 rs.initiate(config) #初始化副本集 (5) 查看副本集状态 sharding01:SECONDARY> rs.status() { "set" : "sharding01", "date" : ISODate("2018-11-02T16:05:37.648Z"), "myState" : 2, "term" : NumberLong(17), "syncingTo" : "172.18.6.89:22000", "heartbeatIntervalMillis" : NumberLong(2000), "optimes" : { "lastCommittedOpTime" : { "ts" : Timestamp(1541174730, 1127), "t" : NumberLong(17) }, "appliedOpTime" : { "ts" : Timestamp(1541174730, 1127), "t" : NumberLong(17) }, "durableOpTime" : { "ts" : Timestamp(1541174730, 1127), "t" : NumberLong(17) } }, "members" : [ { "_id" : 0, "name" : "172.18.6.89:22000", "health" : 1, "state" : 1, "stateStr" : "PRIMARY", "uptime" : 27141, "optime" : { "ts" : Timestamp(1541174730, 1127), "t" : NumberLong(17) }, "optimeDurable" : { "ts" : Timestamp(1541174730, 1127), "t" : NumberLong(17) }, "optimeDate" : ISODate("2018-11-02T16:05:30Z"), "optimeDurableDate" : ISODate("2018-11-02T16:05:30Z"), "lastHeartbeat" : ISODate("2018-11-02T16:05:35.909Z"), "lastHeartbeatRecv" : ISODate("2018-11-02T16:05:37.428Z"), "pingMs" : NumberLong(0), "electionTime" : Timestamp(1541147605, 1), "electionDate" : ISODate("2018-11-02T08:33:25Z"), "configVersion" : 1 }, { "_id" : 1, "name" : "172.18.6.88:22000", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "uptime" : 27142, "optime" : { "ts" : Timestamp(1541174730, 1127), "t" : NumberLong(17) }, "optimeDate" : ISODate("2018-11-02T16:05:30Z"), "syncingTo" : "172.18.6.89:22000", "configVersion" : 1, "self" : true }, { "_id" : 2, "name" : "172.18.6.92:22000", "health" : 1, "state" : 7, "stateStr" : "ARBITER", "uptime" : 27141, "lastHeartbeat" : ISODate("2018-11-02T16:05:35.909Z"), "lastHeartbeatRecv" : ISODate("2018-11-02T16:05:33.315Z"), "pingMs" : NumberLong(0), "configVersion" : 1 } ], "ok" : 1 }
4. 部署sharding02分片副本集(本次部署两组副本集,每组副本集作为一个分片节点)
参考 sharding01
5. 配置mongos
# mongos-01, mongos-02, mongos-03操作 (1) 创建程序相关目录 mkdir -p /opt/mongos/mongos_conf mkdir -p /opt/mongos/mongos_data mkdir -p /opt/mongos/mongos_key mkdir -p /opt/mongos/mongos_log (2) 创建配置文件 # mongos-01, mongos-02, mongos-03操作 cat <<EOF> /opt/mongos/mongos_conf/mongos.conf logpath=/opt/mongos/mongos_log/mongos.log logappend=true bind_ip = 0.0.0.0 port=20000 configdb=configs/172.18.6.87:21000,172.18.6.86:21000,172.18.6.85:21000 #配置分片服务器集群地址 fork=frue #keyFile=/opt/mongos/mongos_key/mongo_keyfile EOF (3) 启动mongos # mongos-01, mongos-02, mongos-03操作 /usr/bin/mongos -f /opt/mongos/mongos_conf/mongos.conf (4) 配置分片 # mongos-01, mongos-02, mongos-03任意节点操作 mongo –port use admin db.runCommand( { addshard : "sharding01/172.18.6.89:22000,172.18.6.88:22000,172.18.6.92:22000"}); #添加分片节点1 db.runCommand( { addshard : "sharding02/172.18.6.91:22000,172.18.6.90:22000,172.18.6.93:22000"}); #添加分片节点2 (5) 查看集群状态 mongos> db.runCommand( { listshards : 1 } ) { "shards" : [ { "_id" : "sharding01", "host" : "sharding01/172.18.6.88:22000,172.18.6.89:22000", "state" : 1 }, { "_id" : "sharding02", "host" : "sharding02/172.18.6.90:22000,172.18.6.91:22000", "state" : 1 } ], "ok" : 1 }
6. 配置片键(本次根据业务场景使用hash分片)
Mongo分片需要为有分片需求的数据库开启分片,并为库内需要分片的集合设置片键 (1) 为分片库开启分片 #mongos任意节点操作 mongo --port 20000 use admin db.runCommand( { enablesharding :"dingkai"}); #为指定库开启分片(dingkai 是库名) use dingkai #进入dingkai 库 db.dingkaitable.createIndex({dingkaifields: "hashed"}); #为作为片键的字段创建hash索引,dingkaitable是需要分片的集合, dingkaifields是作为片键的字段 use admin #创建片键,需要在admin库执行 db.runCommand({shardcollection : "dingkai. dingkaitable",key:{dingkaifields: "hashed"} }) #创建片键(hashed表示使用hash分片,使用范围分片则把hashed改为 1)
三. 开启认证
1. 在各个集群中创建账号(建议开始只建立root权限的用户,后续需要其他用户,可以通过root账号建立)
(1) configserver集群 #主节点操作 mongo --port 21000 use admin db.createUser({user:"root", pwd:"Dingkai.123", roles:[{role: "root", db:"admin" }]}) #root账号(超级管理员) use admin db.createUser({user:"admin", pwd:"Dingkai.123", roles:[{role: "userAdminAnyDatabase", db:"admin" }]}) #管理员账号 use admin db.createUser({user:"clusteradmin", pwd:"Dingkai.123", roles:[{role: "clusterAdmin", db:"admin" }]}) #集群管理账号 (2) sharding集群的主节点(sharding节点设置,主要用于单独登陆分片节点的副本集集群时使用,业务库的账号,在mongos上建立即可) mongo --port 21000 use admin db.createUser({user:"root", pwd:"Dingkai.123", roles:[{role: "root", db:"admin" }]}) #root账号(超级管理员) use admin db.createUser({user:"admin", pwd:"Dingkai.123", roles:[{role: "userAdminAnyDatabase", db:"admin" }]}) #管理员账号 use admin db.createUser({user:"clusteradmin", pwd:"Dingkai.123", roles:[{role: "clusterAdmin", db:"admin" }]}) #集群管理账号
2. 创建集群认证文件
openssl rand -base64 64 > mongo_keyfile
3. 将认证文件分发至各个节点中配置文件制定的位置
(1) configserver集群节点(mongos-01, mongos-02, mongos-03)配置文件中
keyfile制定目录为: keyFile=/opt/configserver/configserver_key/mongo_keyfile
(2) sharding节点集群中各个节点配置文件指定目录:
keyFile: /opt/mongodb/mongodb_keyfile/mongo_keyfile
(3) mongos 各个节点(mongos-01, mongos-02, mongos-03)配置文件指定目录:
keyFile=/opt/mongos/mongos_key/mongo_keyfile
(4)分发完成后, 认证文件 mongo_keyfile 权限设置为 600, 属主属组为mongod
chmod 600
chown mongod:mongod
4. 修改各个节点配置文件中认证相关配置
(1) Sharding个节点(shardding01_arbitration-01, shardding01_mongodb-01, shardding01_mongodb-02, shardding02_arbitration-01, shardding02_mongodb-01, shardding02_mongodb-02)
开启配置文件中:
security:
authorization: enabled
keyFile: /opt/mongodb/mongodb_keyfile/mongo_keyfile
(2)configserver个节点(mongos-01, mongos-02, mongos-03)
keyFile=/opt/mongos/mongos_key/mongo_keyfile
5. 重启所有节点
(1) 重启shardding分片各个节点
(2) 重启configserver各节点
(3) 重启mongos各节点
6. 验证
(1)不认证无法执行命令查看集群状态
mongos -port 20000 use admin db.runCommand( { listshards : 1 } ) { "ok" : 0, "errmsg" : "not authorized on admin to execute command { listshards: 1.0 }", "code" : 13, "codeName" : "Unauthorized"
(2) 使用集群管理账号认证
mongos> use admin switched to db admin mongos> db.auth("clusteradmin","Dingkai.123") 1 mongos> db.runCommand( { listshards : 1 } ) { "shards" : [ { "_id" : "sharding01", "host" : "sharding01/172.18.6.88:22000,172.18.6.89:22000", "state" : 1 }, { "_id" : "sharding02", "host" : "sharding02/172.18.6.90:22000,172.18.6.91:22000", "state" : 1 } ], "ok" : 1 }
四. 常用命令
(1)集群管理
db.runCommand( { listshards : 1 } ) #查看集群状态
db.printShardingStatus() #给出整个分片系统的一些状态信息
db.表名.stats() #查看表的存储状态
(2)用户管理
Read：允许用户读取指定数据库
readWrite：允许用户读写指定数据库
dbAdmin：允许用户在指定数据库中执行管理函数，如索引创建、删除，查看统计或访问system.profile
userAdmin：允许用户向system.users集合写入，可以找指定数据库里创建、删除和管理用户
clusterAdmin：只在admin数据库中可用，赋予用户所有分片和复制集相关函数的管理权限。
readAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的读权限
readWriteAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的读写权限
userAdminAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的userAdmin权限
dbAdminAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的dbAdmin权限。
root：只在admin数据库中可用。超级账号，超级权限
######创建用户######
db.createUser({user:"XXX",pwd:"XXX",roles:[{role:"readWrite", db:"myTest"}]})
######查看用户######
(1)查看所有用户
use admin
db.system.users.find()
(2)查看当前库的用户
use 库名
show users
######删除用户######
(1)删除当前库用户
use 库名
db.dropUser(‘用户名‘)
以上是关于Mongo分片+副本集集群搭建的主要内容，如果未能解决你的问题，请参考以下文章