.NET Core+MongoDB集群搭建与实战

时间  2020-10-18 标签 linux git github mongodb docker shell 数据库 json ubuntu 服务器

目录

安装 MongoDB

安装 MongoDB 网上有不少教程，MongoDB 官方文档：https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/linux

笔者这里简单写一下安装过程，笔者使用 ubuntu 系统。git

要按照的目标版本：MongoDB 4.4 Community Editiongithub

支持的系统：mongodb

  • 20.04 LTS (“Focal”)
  • 18.04 LTS (“Bionic”)
  • 16.04 LTS (“Xenial”)

更新软件源docker

sudo apt update
sudo apt upgrade

apt 直接安装(方法1)

若是你要安装稳定版本，则直接使用一条命令安装：shell

sudo apt install mongodb

执行命令检查 MingoDB 的状态：数据库

sudo systemctl status mongodb

apt 仓库安装(方法2)

此种方式可让你安装最新版本的 MongoDB 。json

导入包管理系统使用的公钥ubuntu

wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add -

添加 MongoDB 的仓库源文件服务器

/etc/apt/sources.list.d/mongodb-org-4.4.list

添加 MongoDB 的仓库源地址

# ubuntu 16.04
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list

# ubuntu 18.04
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list

# ubuntu 20.04
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list

加载 MongoDB 的软件包

sudo apt-get update

安装最新稳定版本的 MongoDB

sudo apt-get install -y mongodb-org

若是你想安装指定版本：

sudo apt-get install -y mongodb-org=4.4.1 mongodb-org-server=4.4.1 mongodb-org-shell=4.4.1 mongodb-org-mongos=4.4.1 mongodb-org-tools=4.4.1

方法一、2启动 MongoDB

执行命令检查 MongoDB 的状态：

sudo systemctl status mongodb

启动 MongoDB：

sudo systemctl start mongod

开机启动 MongoDB：

sudo systemctl enable mongod

查看 MongoDB 版本：

mongo --version
mongod --version

注意：因为 Linux/Unix 系统会对文件描述符的数量或者线程数量加以限制，若是安装过程或者启动时报错，须要自行另外查找方法解决，这里再也不赘述。

经过二进制包安装(方法3)

适合网络不会或者离线安装，有 tgz、deb 、source code 等方法安装，这里只使用 tgz 方式。

安装依赖

# ubuntu 16.04
sudo apt-get install libcurl3 openssl liblzma5

# ubuntu 18.04 & 20.04
sudo apt-get install libcurl4 openssl liblzma5

选择合适的系统下载二进制包：

https://www.mongodb.com/try/download/community?tck=docs_server

Package 能够选择包的形式，如 shell(deb)、shell(tgz)。

注意，要在服务器下载的话，就不要点击 Download，而是点击 Copy Link 复制二进制包的下载连接。

请注意下载的软件版本，mongos 、tagz 包含所有功能；

其它的是单独提供 server 或者 client(shell) 功能。

本小节将提供安装 .deb 和 tgz 包的说明，请自行选择要安装的包！(建议直接下载 tgz)。

不一样种类的软件包

deb 安装 MongoDB

若是下载了 .deb 文件，请使用下面命令安装。

wget {下载地址}
sudo dpkg -i {软件包名}.deb

tgz 安装 MongoDB

若是下载了 .tar.gz 文件，请使用下面命令安装。

tar -zxvf mongodb-{版本}.tgz

# 下面是示例
cd mongodb-linux-x86_64-ubuntu1604-4.4.1
... ...
|-- bin
|   `-- mongo
|-- LICENSE-Community.txt
|-- MPL-2
|-- README
`-- THIRD-PARTY-NOTICES

打开解压的目录，执行：

sudo cp bin/* /usr/local/bin/
# 实际上就是将二进制可执行文件放到 bin 目录

启动 MongoDB

建立数据存放目录：

sudo mkdir -p /var/lib/mongo

建立日志存放目录：

sudo mkdir -p /var/log/mongodb

若是不是使用 root 用户登陆，则须要获取文件权限：

# whoami是你的用户名
sudo chown `whoami` /var/lib/mongo
sudo chown `whoami` /var/log/mongodb

运行 MongoDB：

mongod --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork

以后终端会提示已经成功启动；也能够查看 /var/log/mongodb/mongod.log 日志文件中的内容肯定 MongoDB 的运行状况；

cat /var/log/mongodb/mongod.log 日志文件，会发现第一行：

pid=22639 port=27017

port 即 MongoDB 的链接端口。

卸载方法

apt 卸载方法

适合使用 镜像仓库安装的 MongoDB。

sudo apt-get purge mongodb mongodb-clients mongodb-server mongodb-dev
sudo apt-get purge mongodb-10gen
sudo apt-get autoremove

注：执行过程报错不用管。

tgz 卸载方法

适合卸载使用 .tar.gz 安装的包。

rm /usr/local/bin/mongo*

指定启动的配置

经过配置文件

若是前面提到过配置文件 /etc/mongod.conf，若是经过配置文件启动，则会方便不少，使用配置文件启动 MongoDB 的方法：

mongod --config /etc/mongod.conf

经过参数

经过参数启动 MongoDB 的话，每次启动都比较麻烦：

mongod  --bind_ip=0.0.0.0 --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork

MongoDB 绑定IP、端口

查看 MongoDB 配置：

# 进入 shell
mongo

# 执行
use admin
db.runCommand( { getParameter : '*' } )

默认 MongoDB 是本地服务，外界没法访问主机的 MongoDB 服务，这里来配置一下，使其可以被外网访问。

在 MongoDB 启动后，执行如下命令修改配置。

# 绑定全部地址
mongod --bind_ip_all

# 修改端口
mongod --port 27017

或者停了 MongoDB 服务后，使用如下命令启动：

mongod  --bind_ip=0.0.0.0 --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork

或者手动修改 /etc/mongod.conf 配置文件，把其中一段改为 0.0.0.0：

# network interfaces
net:
  port: 27017
  bindIp: 0.0.0.0

修改完毕后，须要关闭 MongoDB，再开启，请参考后面 ”中止 MongoDB“ 一节。

测试远程 IP 链接

测试链接指定 IP 和 port 的 MongoDB 服务：

mongo {你的服务器公网IP}:27017

加上密码验证

设置帐号密码

mongo

# 进入 MongoDB shell 后
use admin
db.createUser({user:"admin",pwd:"123456",roles:[{role:"root",db:"admin"}]})

若是不生效，请自行找方法解决，这里再也不赘述~

开启登陆验证

而后打开 /etc/mongod.conf 文件，将 #security: 改为：

security:
  authorization: enabled

若是不生效，请自行找方法解决，这里再也不赘述~

中止 MongoDB

mongod --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --shutdown

搭建集群

按照此方法，再炮制一台服务器就行。

建议使用 docker 一次性搞好，本身手动在物理机上面安装，太折腾了。

接下来，咱们要根据官方文档，搭建简单的副本集群。

官方文档地址：https://docs.mongodb.com/manual/replication/

副本集

副本集是一组 MongoDB 实例来维护相同数据集。

官网文档解释：一个副本集包含多个数据承载节点和一个仲裁器节点（可选）。在数据承载节点中，只有一个成员被视为主要节点，而其余节点则被视为次要节点。

用一下官方的图：

mongoDB副本集

故障转移

图中有三台 MongoDB 实例，当 Primary 挂了后，Secondary 能够换掉挂了的服务器，成为新的 Primary。

故障转移

因为我只有两台服务器，所以只能组双机热备。

方案

主节点（Primary）

对外接收全部请求，而后将修改同步到全部 Secondary 中。

当 主节点(Primary) 挂了后，其它 Secondary 或者 Arbiter 节点就会从新选举一个主节点出来。

副本节点（Secondary）

副本节点是备胎，数据集跟主节点(Primary)一致，当主节点挂了后，有机会成为正胎(Primary)。

仲裁者（Arbiter）

不保存数据集，也不能成为(Primary)。做用是当主节点挂了后，投票给 Secondary，让 Secondary 成为 Primary。

可是怎么配置原有的 MongoDB 实例，使其成为 Primary - Secondary 集群呢？Google 了好久。

找到 MongoDB 官方的文档：

https://docs.mongodb.com/manual/tutorial/deploy-replica-set/

设计实例名称

在 primary 机器和 secondary 机器上，分别打开 /etc/mongod.conf 文件，找到 #replication，设置节点名称。

replication:
  replSetName: {名称}

primary 机器设置 primary，secondary 机器设置 beitai。

replSetName 的做用解释以下：

https://docs.mongodb.com/manual/reference/configuration-options/#replication.replSetName

也能够在启动 MongoDB 时加上 --replSet "beitai" 的参数。

mongod --replSet "beitai" ... ...

请中止 MongoDB 后，使用长命令的方法启动 MongoDB。

请在要设置为 Primary 的机器，执行：

mongod --replSet "primary" --bind_ip=0.0.0.0 --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork

请在要设置为 Secondary 的机器，执行：

mongod --replSet "beitai" --bind_ip=0.0.0.0 --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork

如何建立集群

必需要作到如下两点配置：

  • Add Members to a Replica Set
  • Deploy a Replica Set

笔者在这里踩了很大的坑，试了不少种方法和配置才成功。

启动两个实例（配置）

提早说明，若是使用 rs. 指令配置实例，想从新配置，出现 ”"errmsg" : "already initialized"“，可使用 rs.reconfig() 清除配置。

rsconf = rs.conf()
rsconf.members = [{_id: 1, host: "本机的ip:27017"}]
rs.reconfig(rsconf, {force: true})

在 Secondary 机器，执行命令中止运行：

mongod --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --shutdown

从新启动 Secondary 机器：

mongod --replSet "beitai" --bind_ip=0.0.0.0 --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork

设置为 Secondary 节点：

rs.initiate(
   {
      _id: "beitai",
      version: 1,
      members: [
         { _id: 0, host : "primary的ip:27017" }
         { _id: 1, host : "secondary的ip:27017" }
      ]
   }
)

注：id是优先级。

在 primary 机器，执行命令中止运行：

mongod --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --shutdown

从新启动 primary：

mongod --replSet "beitai" --bind_ip=0.0.0.0 --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork

在 primary 进入 shell：

mongo

执行命令进行初始化并设置本身为 primary：

rs.initiate(
   {
      _id: "primary",
      version: 1,
      members: [
         { _id: 0, host : "primary的ip:27017" },
         { _id: 1, host : "secondary的ip:27017" }
      ]
   }
)

分别在两个实例打开 mongo shell，执行：

rs.status()

发现：

beitai:SECONDARY> 
...
primary:PRIMARY>

使用工具链接 MongoDB 并建立一个名为 Test 的数据库：

链接MongoDB

副本集状态查看

查看复制延迟：

rs.printSlaveReplicationInfo()

执行结果：

WARNING: printSlaveReplicationInfo is deprecated and may be removed in the next major release. Please use printSecondaryReplicationInfo instead.
source: *.*.*.*:27017
	syncedTo: Sat Oct 17 2020 20:02:49 GMT+0800 (CST)
	0 secs (0 hrs) behind the freshest member (no primary available at the moment)
source: *.*.*.*:27017
	syncedTo: Thu Jan 01 1970 08:00:00 GMT+0800 (CST)
	1602936169 secs (445260.05 hrs) behind the freshest member (no primary available at the moment)

.NET Core 链接 MongoDB

.NET 程序要链接 MongoDB ，须要经过 Nuget 包安装 MongoDB.Driver 驱动。

咱们来建立一个控制台程序，Nuget 搜索 MongoDB.Driver 并安装，接下来一步步使用链接 MongoDB。

文档地址：https://mongodb.github.io/mongo-csharp-driver/2.10/getting_started/

添加 using 引用：

using MongoDB.Bson;
using MongoDB.Driver;

链接 MongoDB

var client = new MongoClient("mongodb://primary的ip:27017,secondary的ip:27017");

获取数据库

IMongoDatabase database = client.GetDatabase("Test");

获取文档集合

var collection = database.GetCollection<BsonDocument>("MyCollection");

插入文档(json)

var document = new BsonDocument
            {
                { "name", "MongoDB" },
                { "type", "Database" },
                { "count", 1 },
                { "info", new BsonDocument
                {
                    { "x", 203 },
                    { "y", 102 }
                }}
            };

其源结构的 json 以下：

{
     "name": "MongoDB",
     "type": "database",
     "count": 1,
     "info": {
         x: 203,
         y: 102
     }
}

将文档插入到集合中：

collection.InsertOne(document);
            // 使用异步 await collection.InsertOneAsync(document);

而后执行程序，一下子后，打开 MongoDB 管理器，查看集合。

联系我们 沪ICP备13005482号-10