分片则指为处理大量数据,将数据分开存储,不一样服务器保存不一样的数据,它们的数据总和即为整个数据集。追求的是高性能。
在生产环境中,一般是这两种技术结合使用,分片+副本集linux
系统系统 centos7.0
三台服务器:192.168.221.130/131/132
安装包: mongodb-linux-x86_64-3.6.3.tgzmongodb
服务器130 | 服务器131 | 服务器132 |
---|---|---|
mongos | mongos | mongos |
config server | config server | config server |
shard server1 主节点 | shard server1副节点 | shard server1 仲裁 |
shard server2 仲裁 | shard server2主节点 | shard server2 副节点 |
shard server3 副节点 | shard server3 仲裁 | shard server3 主节点 |
端口分配:mongos:23000 config:24000 shard1:25001 shard2:25002 shard3:25003数据库
1.安装mongodb(见另外一博客:mongodb 3.63(Linux CentOS 7安装 )centos
2.分别在每台机器创建conf、mongos、config、shard一、shard二、shard3六个目录,由于mongos不存储数据,只须要创建日志文件目录便可。服务器
mkdir -p /usr/local/mongodb/conf mkdir -p /usr/local/mongodb/mongos/log mkdir -p /usr/local/mongodb/config/data mkdir -p /usr/local/mongodb/config/log mkdir -p /usr/local/mongodb/shard1/data mkdir -p /usr/local/mongodb/shard1/log mkdir -p /usr/local/mongodb/shard2/data mkdir -p /usr/local/mongodb/shard2/log mkdir -p /usr/local/mongodb/shard3/data mkdir -p /usr/local/mongodb/shard3/log
关闭三台机器的防火墙app
systemctl stop firewalld.service
Mongodb3.4之后要求配置服务器也建立副本集,否则集群搭建不成功。添加配置文件。性能
vi /usr/local/mongodb/conf/config.conf
进入后添加如下配置信息测试
## 配置文件内容 pidfilepath = /usr/local/mongodb/config/log/configsrv.pid dbpath = /usr/local/mongodb/config/data logpath = /usr/local/mongodb/config/log/congigsrv.log logappend = true bind_ip = 0.0.0.0 port = 24000 fork = true #declare this is a config db of a cluster; configsvr = true #副本集名称 replSet=configs #设置最大链接数 maxConns=20000
分别启动三台服务器的config server,链接:进入/usr/local/mongodb/bin目录下this
./mongod -f /usr/local/mongodb/conf/config.conf
登陆任意一台配置服务器,初始化配置副本集,登陆:进入/usr/local/mongodb/bin目录下centos7
./mongo --port 24000
使用admin数据库
use admin
config变量:
config = { ... _id : "configs", ... members : [ ... {_id : 0, host : "192.168.221.130:24000" }, ... {_id : 1, host : "192.168.221.131:24000" }, ... {_id : 2, host : "192.168.221.132:24000" } ... ] ... }
初始化副本集:
rs.initiate(config)
这一步很是重要,必须初始化成功。不成功的话,路由服务器与配置服务器链接不上。
其中,”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致,”members” 中的 “host” 为三个节点的 ip 和 port。
配置分片副本集(三台机器)。
1.设置第一个分片副本集
配置文件:
vi /usr/local/mongodb/conf/shard1.conf
配置:
#配置文件内容 #——————————————– pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid dbpath = /usr/local/mongodb/shard1/data logpath = /usr/local/mongodb/shard1/log/shard1.log logappend = true bind_ip = 0.0.0.0 port = 25001 fork = true #副本集名称 replSet=shard1 #declare this is a shard db of a cluster; shardsvr = true #设置最大链接数 maxConns=20000
启动三台服务器的shard1 server,进入/usr/local/mongodb/bin目录下:
./mongod -f /usr/local/mongodb/conf/shard1.conf
登录任意一台服务器,初始化副本集,进入/usr/local/mongodb/bin目录下:
./mongo --port 25001
使用admin数据库
use admin
定义副本集配置,第三个节点的 “arbiterOnly”:true 表明其为仲裁节点。
config = { ... _id : "shard1", ... members : [ ... {_id : 0, host : "192.168.221.130:25001" }, ... {_id : 1, host : "192.168.221.131:25001" }, ... {_id : 2, host : "192.168.221.132:25001” , arbiterOnly: true } ... ] ... }
初始化副本集配置
rs.initiate(config);
2.设置第二个分片
进入配置文件
vi /usr/local/mongodb/conf/shard2.conf
添加配置:
#配置文件内容 #——————————————– pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid dbpath = /usr/local/mongodb/shard2/data logpath = /usr/local/mongodb/shard2/log/shard2.log logappend = true bind_ip = 0.0.0.0 port = 25002 fork = true #副本集名称 replSet=shard2 #declare this is a shard db of a cluster; shardsvr = true #设置最大链接数 maxConns=20000
启动三台服务器的shard2 server,进入/usr/local/mongodb/bin目录下:
./mongod -f /usr/local/mongodb/conf/shard2.conf
登录任意一台服务器,进入/usr/local/mongodb/bin初始化副本集
./mongo --port 25002
使用admin数据库
use admin
定义副本集配置
config = { ... _id : "shard2", ... members : [ ... {_id : 0, host : "192.168.221.130:25002" , arbiterOnly: true }, ... {_id : 1, host : "192.168.221.131:25002" }, ... {_id : 2, host : "192.168.221.132:25002" } ... ] ... }
初始化副本集配置
rs.initiate(config);
设置第三个分片副本集
配置文件代码以下:
vi /usr/local/mongodb/conf/shard3.conf
进入配置:
#配置文件内容 #——————————————– pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid dbpath = /usr/local/mongodb/shard3/data logpath = /usr/local/mongodb/shard3/log/shard3.log logappend = true bind_ip = 0.0.0.0 port = 25003 fork = true #副本集名称 replSet=shard3 #declare this is a shard db of a cluster; shardsvr = true #设置最大链接数 maxConns=20000
启动三台服务器的shard3 server,进入/usr/local/mongodb/bin目录下:
./mongod -f /usr/local/mongodb/conf/shard3.conf
登录任意一台服务器,初始化副本集
./mongo --port 25003
使用admin数据库
use admin
定义副本集配置
config = { ... _id : "shard3", ... members : [ ... {_id : 0, host : "192.168.221.130:25003" }, ... {_id : 1, host : "192.168.221.131:25003" , arbiterOnly: true}, ... {_id : 2, host : "192.168.221.132:25003" } ... ] ... }
初始化副本集配置
rs.initiate(config);
先启动配置服务器和分片服务器,后启动路由实例启动路由实例:(三台机器)
vi /usr/local/mongodb/conf/mongos.conf
配置:
#内容 pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid logpath = /usr/local/mongodb/mongos/log/mongos.log logappend = true bind_ip = 0.0.0.0 port = 23000 fork = true #监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字 configdb = configs/192.168.221.130:24000,192.168.221.131:24000,192.168.221.131:24000 #设置最大链接数 maxConns=20000
启动三台服务器的mongos server,进入/usr/local/mongodb/bin目录下:
./mongos -f /usr/local/mongodb/conf/mongos.conf
目前搭建了mongodb配置服务器、路由服务器,各个分片服务器,不过应用程序链接到mongos路由服务器并不能使用分片机制,还须要在程序里设置分片配置,让分片生效。
登录任意一台mongos,进入/usr/local/mongodb/bin目录下
./mongo --port 23000
使用admin数据库
use admin
串联路由服务器与分配副本集
sh.addShard("shard1/192.168.221.130:25001,192.168.221.131:25001,192.168.221.132:25001") sh.addShard("shard2/192.168.221.130:25002,192.168.221.131:25002,192.168.221.132:25002") sh.addShard("shard3/192.168.221.130:25003,192.168.221.131:25003,192.168.221.132:25003")
查看集群状态
sh.status()
目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了,但咱们的目的是但愿插入数据,数据可以自动分片。链接在mongos上,准备让指定的数据库、指定的集合分片生效。
指定testdb分片生效
db.runCommand( { enablesharding :"testdb"});
指定数据库里须要分片的集合和片键
db.runCommand( { shardcollection : "testdb.table1",key : {id: “hashed”} } )
咱们设置testdb的 table1 表须要分片,根据 id 自动分片到 shard1 ,shard2,shard3 上面去。要这样设置是由于不是全部mongodb 的数据库和表 都须要分片!插入100000条数据测试:
查看分配状态
db.table1.stats();
以下图所示:shard1总数:33755条
Shard2总数:33143条
Shard3总数:33102条
出现以下问题,说明初始化没有成功,若是初始化没有成功会致使后面路由服务器启动不了
出现以下问题须要关闭进程。重启服务
上述一台服务器不能初始化,能够选择另外一台(配置能够选取任何一台)
分片则指为处理大量数据,将数据分开存储,不一样服务器保存不一样的数据,它们的数据总和即为整个数据集。追求的是高性能。
在生产环境中,一般是这两种技术结合使用,分片+副本集
系统系统 centos7.0
三台服务器:192.168.221.130/131/132
安装包: mongodb-linux-x86_64-3.6.3.tgz
服务器130 | 服务器131 | 服务器132 |
---|---|---|
mongos | mongos | mongos |
config server | config server | config server |
shard server1 主节点 | shard server1副节点 | shard server1 仲裁 |
shard server2 仲裁 | shard server2主节点 | shard server2 副节点 |
shard server3 副节点 | shard server3 仲裁 | shard server3 主节点 |
端口分配:mongos:23000 config:24000 shard1:25001 shard2:25002 shard3:25003
1.安装mongodb(见另外一博客:mongodb 3.63(Linux CentOS 7安装 )
2.分别在每台机器创建conf、mongos、config、shard一、shard二、shard3六个目录,由于mongos不存储数据,只须要创建日志文件目录便可。
mkdir -p /usr/local/mongodb/conf mkdir -p /usr/local/mongodb/mongos/log mkdir -p /usr/local/mongodb/config/data mkdir -p /usr/local/mongodb/config/log mkdir -p /usr/local/mongodb/shard1/data mkdir -p /usr/local/mongodb/shard1/log mkdir -p /usr/local/mongodb/shard2/data mkdir -p /usr/local/mongodb/shard2/log mkdir -p /usr/local/mongodb/shard3/data mkdir -p /usr/local/mongodb/shard3/log
关闭三台机器的防火墙
systemctl stop firewalld.service
Mongodb3.4之后要求配置服务器也建立副本集,否则集群搭建不成功。添加配置文件。
vi /usr/local/mongodb/conf/config.conf
进入后添加如下配置信息
## 配置文件内容 pidfilepath = /usr/local/mongodb/config/log/configsrv.pid dbpath = /usr/local/mongodb/config/data logpath = /usr/local/mongodb/config/log/congigsrv.log logappend = true bind_ip = 0.0.0.0 port = 24000 fork = true #declare this is a config db of a cluster; configsvr = true #副本集名称 replSet=configs #设置最大链接数 maxConns=20000
分别启动三台服务器的config server,链接:进入/usr/local/mongodb/bin目录下
./mongod -f /usr/local/mongodb/conf/config.conf
登陆任意一台配置服务器,初始化配置副本集,登陆:进入/usr/local/mongodb/bin目录下
./mongo --port 24000
使用admin数据库
use admin
config变量:
config = { ... _id : "configs", ... members : [ ... {_id : 0, host : "192.168.221.130:24000" }, ... {_id : 1, host : "192.168.221.131:24000" }, ... {_id : 2, host : "192.168.221.132:24000" } ... ] ... }
初始化副本集:
rs.initiate(config)
这一步很是重要,必须初始化成功。不成功的话,路由服务器与配置服务器链接不上。
其中,”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致,”members” 中的 “host” 为三个节点的 ip 和 port。
配置分片副本集(三台机器)。
1.设置第一个分片副本集
配置文件:
vi /usr/local/mongodb/conf/shard1.conf
配置:
#配置文件内容 #——————————————– pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid dbpath = /usr/local/mongodb/shard1/data logpath = /usr/local/mongodb/shard1/log/shard1.log logappend = true bind_ip = 0.0.0.0 port = 25001 fork = true #副本集名称 replSet=shard1 #declare this is a shard db of a cluster; shardsvr = true #设置最大链接数 maxConns=20000
启动三台服务器的shard1 server,进入/usr/local/mongodb/bin目录下:
./mongod -f /usr/local/mongodb/conf/shard1.conf
登录任意一台服务器,初始化副本集,进入/usr/local/mongodb/bin目录下:
./mongo --port 25001
使用admin数据库
use admin
定义副本集配置,第三个节点的 “arbiterOnly”:true 表明其为仲裁节点。
config = { ... _id : "shard1", ... members : [ ... {_id : 0, host : "192.168.221.130:25001" }, ... {_id : 1, host : "192.168.221.131:25001" }, ... {_id : 2, host : "192.168.221.132:25001” , arbiterOnly: true } ... ] ... }
初始化副本集配置
rs.initiate(config);
2.设置第二个分片
进入配置文件
vi /usr/local/mongodb/conf/shard2.conf
添加配置:
#配置文件内容 #——————————————– pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid dbpath = /usr/local/mongodb/shard2/data logpath = /usr/local/mongodb/shard2/log/shard2.log logappend = true bind_ip = 0.0.0.0 port = 25002 fork = true #副本集名称 replSet=shard2 #declare this is a shard db of a cluster; shardsvr = true #设置最大链接数 maxConns=20000
启动三台服务器的shard2 server,进入/usr/local/mongodb/bin目录下:
./mongod -f /usr/local/mongodb/conf/shard2.conf
登录任意一台服务器,进入/usr/local/mongodb/bin初始化副本集
./mongo --port 25002
使用admin数据库
use admin
定义副本集配置
config = { ... _id : "shard2", ... members : [ ... {_id : 0, host : "192.168.221.130:25002" , arbiterOnly: true }, ... {_id : 1, host : "192.168.221.131:25002" }, ... {_id : 2, host : "192.168.221.132:25002" } ... ] ... }
初始化副本集配置
rs.initiate(config);
设置第三个分片副本集
配置文件代码以下:
vi /usr/local/mongodb/conf/shard3.conf
进入配置:
#配置文件内容 #——————————————– pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid dbpath = /usr/local/mongodb/shard3/data logpath = /usr/local/mongodb/shard3/log/shard3.log logappend = true bind_ip = 0.0.0.0 port = 25003 fork = true #副本集名称 replSet=shard3 #declare this is a shard db of a cluster; shardsvr = true #设置最大链接数 maxConns=20000
启动三台服务器的shard3 server,进入/usr/local/mongodb/bin目录下:
./mongod -f /usr/local/mongodb/conf/shard3.conf
登录任意一台服务器,初始化副本集
./mongo --port 25003
使用admin数据库
use admin
定义副本集配置
config = { ... _id : "shard3", ... members : [ ... {_id : 0, host : "192.168.221.130:25003" }, ... {_id : 1, host : "192.168.221.131:25003" , arbiterOnly: true}, ... {_id : 2, host : "192.168.221.132:25003" } ... ] ... }
初始化副本集配置
rs.initiate(config);
先启动配置服务器和分片服务器,后启动路由实例启动路由实例:(三台机器)
vi /usr/local/mongodb/conf/mongos.conf
配置:
#内容 pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid logpath = /usr/local/mongodb/mongos/log/mongos.log logappend = true bind_ip = 0.0.0.0 port = 23000 fork = true #监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字 configdb = configs/192.168.221.130:24000,192.168.221.131:24000,192.168.221.131:24000 #设置最大链接数 maxConns=20000
启动三台服务器的mongos server,进入/usr/local/mongodb/bin目录下:
./mongos -f /usr/local/mongodb/conf/mongos.conf
目前搭建了mongodb配置服务器、路由服务器,各个分片服务器,不过应用程序链接到mongos路由服务器并不能使用分片机制,还须要在程序里设置分片配置,让分片生效。
登录任意一台mongos,进入/usr/local/mongodb/bin目录下
./mongo --port 23000
使用admin数据库
use admin
串联路由服务器与分配副本集
sh.addShard("shard1/192.168.221.130:25001,192.168.221.131:25001,192.168.221.132:25001") sh.addShard("shard2/192.168.221.130:25002,192.168.221.131:25002,192.168.221.132:25002") sh.addShard("shard3/192.168.221.130:25003,192.168.221.131:25003,192.168.221.132:25003")
查看集群状态
sh.status()
目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了,但咱们的目的是但愿插入数据,数据可以自动分片。链接在mongos上,准备让指定的数据库、指定的集合分片生效。
指定testdb分片生效
db.runCommand( { enablesharding :"testdb"});
指定数据库里须要分片的集合和片键
db.runCommand( { shardcollection : "testdb.table1",key : {id: “hashed”} } )
咱们设置testdb的 table1 表须要分片,根据 id 自动分片到 shard1 ,shard2,shard3 上面去。要这样设置是由于不是全部mongodb 的数据库和表 都须要分片!插入100000条数据测试:
查看分配状态
db.table1.stats();
以下图所示:shard1总数:33755条
Shard2总数:33143条
Shard3总数:33102条
出现以下问题,说明初始化没有成功,若是初始化没有成功会致使后面路由服务器启动不了
出现以下问题须要关闭进程。重启服务
上述一台服务器不能初始化,能够选择另外一台(配置能够选取任何一台)