EOS 区块链数据实时异构到 MongoDB

时间 2019-11-17

标签 eos 区块数据实时异构 mongodb 栏目比特币繁體版

原文原文链接

文/robinnode

这是「区块链技术指北」的第 38 篇文章。git

若是对我感兴趣，想和我交流，个人微信号：Wentasy，加我时简单介绍下本身，并注明来自「区块链技术指北」，同时我会把你拉入微信群。github

题图来自: © ChainONE / Original / chainon.iosql

更新：从 EOSIO 1.1.0 开始，已经默认支持 MongoDB，因此本文提供的方法仅作参考。mongodb

0x00 背景

执行 eosio_build.sh 脚本编译 nodeos 会默认安装 mongodb，可是从 Dawn 4.0 开始，mongo_db_plugin 插件再也不生效，详情请参考 #3030。#4304 PR 从新支持 MongoDB，本文讲解如何将链上数据实时同步到 MongoDB。数据库

0x01 部署

部署的思路以下：json

编译支持 mongo_db_plugin 的 nodeos
配置 MongoDB
启动 MongoDB
建立数据库
启动 nodeos，同步主网数据
查看 MongoDB，确认数据

接下来咱们逐步讲解。安全

因为 EOSIO 代码库有 gh#3030-enable-mongodb 分支，因此可使用 git 自动将支持 mongo_db_plugin 插件的代码合并，详细命令以下：ruby

$ mkdir -p /data/mongodb && cd /data/mongodb
$ git clone -b release/1.1 https://github.com/EOSIO/eos.git --recursive
$ cd eos
$ git fetch --all --tags --prune
$ git merge --m "merge" --commit origin/gh#3030-enable-mongodb
$ git submodule update --init --recursive
$ ./eosio_build.sh
复制代码

若是 nodeos 编译成功，MongoDB 自动安装，路径在 $USER/opt/mongodb。执行 /data/mongodb/eos/build/programs/nodeos/nodeos --help | grep mongo，若是有以下的输出，表示 MongoDB 插件编译成功。bash

Config Options for eosio::mongo_db_plugin:
  -q [ --mongodb-queue-size ] arg (=256)
  --mongodb-wipe                        Required with --replay-blockchain,
                                        --delete-all-blocks to wipe mongo
                                        accidental wipe of mongo db.
  --mongodb-block-start arg (=0)        If specified then only abi data pushed
                                        to mongodb until specified block is
  -m [ --mongodb-uri ] arg              MongoDB URI connection string, see:
                                        https://docs.mongodb.com/master/referen
                                        in URI. Example: mongodb://127.0.0.1:27
复制代码

接下来咱们配置 MongoDB。

$ mkdir -p /data/mongodb/db /data/mongodb/logs
$ touch /data/mongodb/mongodb.conf
复制代码

mongodb.conf 配置文件内容以下：

systemLog:
  destination: file
  path: /data/mongodb/logs/mongo.log
  logAppend: true
storage:
  dbPath: /data/mongodb/db
  journal:
   enabled: true
net:
  bindIp: 127.0.0.1
  port: 27017
复制代码

接着启动 MongoDB，而且建立 eos 数据库。

$ /$USER/opt/mongodb/bin/mongod -f /data/mongodb/mongodb.conf --fork
$ /$USER/opt/mongodb/bin/mongo --port 27017
$ use eos
复制代码

而后配置 EOS 主网 fullnode。

$ mkdir /data/mainnet
$ cd /data/mainnet
$ git clone https://github.com/superoneio/eos-mainnet
$ mkdir -p data logs config
$ cp eos-mainnet/config.ini mainnet/config
$ cp eos-mainnet/genesis.json mainnet
$ cp eos-mainnet/*.sh mainnet
$ chmod +x mainnet
复制代码

修改 config.ini 相关配置，添加以下参数：

plugin = eosio::mongo_db_plugin
mongodb-uri = mongodb://127.0.0.1:27017/eos
复制代码

最后执行 start.sh，同步主网数据。

0x02 测试

咱们执行 $ /$USER/opt/mongodb/bin/mongo --port 27017 登陆到 MongoDB，能够对同步的数据进行校验。

> use eos
> show dbs
admin   0.000GB
config  0.000GB
eos     0.031GB
local   0.000GB
> use eos
switched to db eos
> show tables;
accounts
actions
block_states
blocks
transaction_traces
transactions
> db.accounts.find({name:{$eq:'eosio.ram'}})
{ "_id" : ObjectId("5b4163f2992ecd51b4277f77"), "name" : "eosio.ram", "createdAt" : ISODate("2018-07-08T01:08:02.071Z") }
复制代码

0x03 小结

以前介绍了将 EOS 主网数据同步到 MySQL，本文讲解了另外一种同步到文档型数据库的方法。MySQL 和 MongoDB 最大的区别在于，MySQL 是传统的关系型数据库，支持 SQL 标准，而 MongoDB 是文档型数据库。MySQL 天生适用于结构化数据以及须要使用事务的场景，天生支持 SQL 标准，对开发者比较友好。

MongoDB 适合以下场景：[1]

表结构不明确且数据不断变大，MongoDB 是非结构化文档数据库，扩展字段很容易且不会影响原有数据
更高的写入负载，MongoDB 侧重高数据写入的性能，而非事务安全
数据量很大或者未来会变得很大，MongoDB 内建了 Sharding、数据分片的特性，容易水平扩展
高可用性，MongoDB 自带高可用，自动主从切换（副本集）

而 MongoDB 不支持事务、不支持 JOIN，因此涉及事务和复杂查询的场景不适合 MySQL。

关于 MongoDB 和 MySQL 的对比，能够点击此处查看。

0x04 参考

[1] 张家江 (2017-09-07). SOCI Installation. Retrieved from tech.lede.com/2017/09/07/….

「区块链技术指北」同名 知识星球，二维码以下，欢迎加入。

「区块链技术指北」相关资讯渠道：

「区块链技术指北」同名知识星球，t.xiaomiquan.com/ZRbmaU3
官网，chainon.io
官方博客，blog.chainon.io
官方社区，bbs.chainon.io
Telegram Channel，t.me/BlockchainA…
Telegram Group，t.me/bcage
Twitter，twitter.com/bcageone
Facebook，www.facebook.com/chainone.or…
新浪微博，weibo.com/BlockchainA…

同时，本系列文章会在如下渠道同步更新，欢迎关注：

「区块链技术指北」同名微信公众号（微信号：BlockchainAge）
我的博客，dbarobin.com
知乎，zhuanlan.zhihu.com/robinwen
简书，www.jianshu.com/c/a37698a12…
Steemit，steemit.com/@robinwen
Medium，medium.com/@robinwan
掘金，robinwen@juejin.im
EOS LIVE，eos.live/user/robin
币乎，bihu.com/people/2220…

原创不易，读者能够经过以下途径打赏，虚拟货币、美圆、法币均支持。

BTC: 3QboL2k5HfKjKDrEYtQAKubWCjx9CX7i8f
ERC20 Token: 0x8907B2ed72A1E2D283c04613536Fac4270C9F0b3
PayPal: www.paypal.me/robinwen
微信打赏二维码

–EOF–