1. 简介
MongoDB 基本NoSQL的大数据数据存储工具,内部数据以文档的概念存储BSON(Binary JSON)。
所有的数据存储概念均离不开“分片”(数据的横向扩展,以分离存储的方式提高数据存储、检索的性能)、“复制”(高可用,包含冗余备份、故障自检、自动恢复、读写分离等功能)。
本文不会详细介绍MongoDB基础及分布概念,读者可以自行查阅学习。
2. 实战
2.1 版本信息
2.1.1 系统版本
# uname -a
Linux 1ddc8b08470a 4.9.49-moby #1 SMP Thu Sep 21 05:50:41 UTC 2017 x86_64 GNU/Linux
2.1.2 MongoDB版本
# mongo -version
MongoDB shell version v3.4.10
git version: 078f28920cb24de0dd479b5ea6c66c644f6326e9
OpenSSL version: OpenSSL 1.0.1t 3 May 2016
allocator: tcmalloc
modules: none
build environment:
distmod: debian81
distarch: x86_64
target_arch: x86_64
2.2 创建Sharding复制集 rs0
# mkdir /data/log
# mkdir /data/db1
# nohup mongod --port 27020 --dbpath=/data/db1 --logpath=/data/log/rs0-1.log --logappend --fork --shardsvr --replSet=rs0 &
# mkdir /data/db2
# nohup mongod --port 27021 --dbpath=/data/db2 --logpath=/data/log/rs0-2.log --logappend --fork --shardsvr --replSet=rs0 &
2.3 复制集rs0配置
# mongo localhost:27020
> rs.initiate({_id: 'rs0', members: [{_id: 0, host: 'localhost:27020'}, {_id: 1, host: 'localhost:27021'}]})
> rs.isMaster() #查看主从关系
2.4 创建Sharding复制集 rs1
# mkdir /data/db3
# nohup mongod --port 27030 --dbpath=/data/db3 --logpath=/data/log/rs1-1.log --logappend --fork --shardsvr --replSet=rs1 &
# mkdir /data/db4
# nohup mongod --port 27031 --dbpath=/data/db4 --logpath=/data/log/rs1-2.log --logappend --fork --shardsvr --replSet=rs1 &
2.5 复制集rs1配置
# mongo localhost:27030
> rs.initiate({_id: 'rs1', members: [{_id: 0, host: 'localhost:27030'}, {_id: 1, host: 'localhost:27031'}]})
> rs.isMaster() #查看主从关系
2.6 创建Config复制集 conf
# mkdir /data/conf1
# nohup mongod --port 27100 --dbpath=/data/conf1 --logpath=/data/log/conf-1.log --logappend --fork --configsvr --replSet=conf &
# mkdir /data/conf2
# nohup mongod --port 27101 --dbpath=/data/conf2 --logpath=/data/log/conf-2.log --logappend --fork --configsvr --replSet=conf &
2.7 复制集conf配置
# mongo localhost:27100
> rs.initiate({_id: 'conf', members: [{_id: 0, host: 'localhost:27100'}, {_id: 1, host: 'localhost:27101'}]})
> rs.isMaster() #查看主从关系
2.8 创建Route
# nohup mongos --port 40000 --configdb conf/localhost:27100,localhost:27101 --fork --logpath=/data/log/route.log --logappend &
2.9 设置分片
# mongo localhost:40000
> use admin
> db.runCommand({ addshard: 'rs0/localhost:27020,localhost:27021'})
> db.runCommand({ addshard: 'rs1/localhost:27030,localhost:27031'})
> db.runCommand({ enablesharding: 'test'})
> db.runCommand({ shardcollection: 'test.user', key: {name: 1}})
通过以上步骤操作,便可以直接连接 40000端口的mongdos享用分片及复制功能。
3. 总结
基本大数据分布式背景而生的产品,在分布式集群配置上还是很简单方便的。这里仅仅是一个基本的操作演示,更多的功能还需要读者去深入了解。
- 首先配置了两个Sharding,并赋予了它们复制的能力。
- 然后配置了Configdb配置管理,同样必须要有复制集功能。
- 最后是路由Route的配置,并在Route启动时中指定了Configdb,又在其中添加了之前配置的Sharding。
- 客房端只需要连接Route就可以透明地享用分片及复制带来了高性能、高可用。Note: 如果单独连接Sharding产生的数据并不会反应在Route中。