【刘文彬】区块链 + 大数据：EOS存储

时间  2019-11-16
标签 刘文彬 区块 数据 eos 存储 栏目 比特币 繁體版
原文   原文链接

原文连接：醒者呆的博客园，www.cnblogs.com/Evsward/p/s…html

谈到区块链的存储，咱们很容易联想到它的链式存储结构，然而区块链从比特币发展到今日当红的EOS，技术形态已经演化了10年之久。目前的EOS的存储除了确认结构的链式存储之外，在状态存储方面有了很大的进步，尤为是引入了MongoDB plugin之后，能够将功能有限的状态库搭上大数据的班车。本文将全面介绍EOS的存储技术。node

EOS 存储，Merkle Tree，mongodb，chainbase，源码学习，context_free_actionsios

EOS的链式存储结构

EOS的区块数据结构以下：git

field explanation
timestamp 时间戳
producer 生产者
confirmed 生产者确认数
previous 链式结构前一个区块的id
transaction_mroot 交易默克尔树根
action_mroot 动做默克尔树根
schedule_version 生产者版本排序号
new_producers 下一个生产者
header_extensions 区块头扩展字段
producer_signature 区块签名，由生产者签名
transactions 块打包交易内容，是数组结构，能够多个
block_extensions 区块扩展字段
id 当前块id
block_num 当前块高度
ref_block_prefix 引用区块的区块头

Merkle Tree

默克尔树的演化路线是 Hash => Hash Tree => Merkle Tree ，他们都是为解决数据一致性而存在的，具体的含义以下：github

  • Hash 是咱们都熟知的技术了，它能够为一个文件或其余数据生成一个Hash值，咱们在下载一个文件时，一般会在下载页面看到这个文件的Hash值以及该Hash值的算法，下载完毕之后，咱们能够在本地对整个文件进行一样的Hash算法获得Hash值，而后与网页上的Hash值进行对比，若是相同，则说明文件完整，是网页上的源文件，若是不匹配则说明文件损坏，被修改或者不完整。
  • 仍旧是文件完整性的校验需求，当这个文件特别大的时候，对这个文件进行Hash算法是能耗巨大的，因此能够将文件切割成不少的小块，每个小块都有一个Hash，而后将全部小块的Hash值拼在一块儿再次进行Hash算法获得的就是Root Hash。这样一来，咱们在下载大文件的时候，会先下载一个包含Root Hash的Hash list，经过校验Root Hash能够肯定Hash list的正确性，肯定Hash list正确之后，再逐个下载小块文件并逐一验证Hash，当发现某个小块Hash不匹配的时候，就能够单独从新下载该小块便可，而没必要从新下载所有。Hash list的结构其实是一个Root Hash 为根，小块Hashs为叶子节点的树高为2的Hash Tree。
  • Merkle Tree其实是对Hash List的优化，它极大的提升了性能。它的结构是一个二叉树（也能够是多叉树，性能优化的关键点是它的高度是大于等于2的），每一个节点最多只有两个子节点，只有叶节点是根据小块文件作的Hash，每两个相邻的叶节点的父节点是由这两个Hash作的父Hash，若是叶节点的总数是单数，则会剩余一个，逐级而上，最终会有一个的根节点，这个根节点就是Merkle Root。这样以来，咱们在下载大文件的时候，会首先下载一个Merkle Tree，从最左下叶节点进行校验，逐级而上，将整个Merkle Tree校验完毕。这里面不一样于上面Hash Tree的是，只要最左下相邻的两个叶节点的Hash值与他们的父节点的Hash经过了匹配，则能够当即开始下载这两个叶节点对应的文件块，并行地，再校验其余叶节点，这就提升了性能，没必要校验完整的Merkle Tree以后再下载文件。

Merkle Tree 与 区块链

上面的区块数据结构中包含了两个与Merkle Tree相关的字段：算法

  • transaction_mroot，一个区块中的transactions字段能够包含多笔交易，区块中的transaction_mroot是全部该区块内打包的交易的Merkle Root，能够用来校验其中的每笔交易的正确性。若是该区块中不包含任何交易，则该字段的值为0000000000000000000000000000000000000000000000000000000000000000。节点同步数据的时候，会先将交易的Merkle Tree下载并经过Merkle Root来校验，而不是将全部的交易主体所有下载下来，这样能够节省轻节点的数据量。mongodb

  • action_mroot，建立一个基于全部分发的action的根，在区块内接收交易时进行评估。用在轻客户端的校验，功能同上。数据库

    action_mroot是始终有值的，哪怕transaction_mroot是0，这是由于出块自己也是一个action动做onblock，这个动做调用的是system合约的onblock函数。TODO：源码分析
复制代码
/**
*  At the start of each block we notify the system contract with a transaction that passes in
*  the block header of the prior block (which is currently our head block)
*/
signed_transaction get_on_block_transaction()
{
  action on_block_act;
  on_block_act.account = config::system_account_name;
  on_block_act.name = N(onblock);
  on_block_act.authorization = vector<permission_level>{{config::system_account_name, config::active_name}};
  on_block_act.data = fc::raw::pack(self.head_block_header());

  signed_transaction trx;
  trx.actions.emplace_back(std::move(on_block_act));
  trx.set_reference_block(self.head_block_id());
  trx.expiration = self.pending_block_time() + fc::microseconds(999'999); // Round up to nearest second to avoid appearing expired return trx; } 复制代码

context_free_actions

经过对eosio.null帐户的nouce动做，能够将无签名的数据打包进入context_free_action字段，结果区块信息以下：ubuntu

evsward@evsward-TM1701:~/work/src/github.com/eos/tutorials/bios-boot-tutorial$ cleos --wallet-url http://127.0.0.1:6666 --url http://127.0.0.1:8000 get block 440
{
  "timestamp": "2018-08-14T08:47:09.000",
  "producer": "eosio",
  "confirmed": 0,
  "previous": "000001b760e4a6610d122c5aa5d855aa49e29f3052ac3e40b9e1ef78e0f1fd02",
  "transaction_mroot": "32cb43abd7863f162f4d8f3ab9026623ea99d3f8261d2c8b4d8bf920ab97e3d1",
  "action_mroot": "09afeaf40d6988a14e9e92817d2ccf4023b280075c99f13782a6535ccc58cbb0",
  "schedule_version": 0,
  "new_producers": null,
  "header_extensions": [],
  "producer_signature": "SIG_K1_K2eFDzbxCg3hmQzpzPuLYmiesrciPmTHdeNsQDyFgcHUMFeMC3PntXTqiup5VuNmyb7qmH18FBdMuNKsc7jgCm1TSPFbaj",
  "transactions": [{
      "status": "executed",
      "cpu_usage_us": 290,
      "net_usage_words": 16,
      "trx": {
        "id": "d74843749d1e255f13572b7a3b95af9ddd6df23d1d0ad19d88e1496091d4be2b",
        "signatures": [
          "SIG_K1_KVzwg3QRH6ZmempNsvAxpPQa42hF4tDpV5cqwqo7EY4oSU7NMrEFwG7gdSDCnUHHhmH1EwtVAmV1z9bqtTvvQNSXiSgaWG"
        ],
        "compression": "none",
        "packed_context_free_data": "",
        "context_free_data": [],
        "packed_trx": "8497725bb601973ea96f0000000100408c7a02ea3055000000000085269d000706686168616861010082c95865ea3055000000000000806b010082c95865ea305500000000a8ed3232080000000000d08cf200",
        "transaction": {
          "expiration": "2018-08-14T08:49:08",
          "ref_block_num": 438,
          "ref_block_prefix": 1873362583,
          "max_net_usage_words": 0,
          "max_cpu_usage_ms": 0,
          "delay_sec": 0,
          "context_free_actions": [{
              "account": "eosio.null",
              "name": "nonce",
              "authorization": [],
              "data": "06686168616861"
            }
          ],
          "actions": [{
              "account": "eosiotesta1",
              "name": "hi",
              "authorization": [{
                  "actor": "eosiotesta1",
                  "permission": "active"
                }
              ],
              "data": {
                "user": "yeah"
              },
              "hex_data": "0000000000d08cf2"
            }
          ],
          "transaction_extensions": []
        }
      }
    }
  ],
  "block_extensions": [],
  "id": "000001b8d299602b289a9194bd698476c5d39c5ad88235460908e9d43d04edc8",
  "block_num": 440,
  "ref_block_prefix": 2492570152
}
复制代码

正常的actions的内容是hi智能合约的调用，而context_free_action中包含了无签名的data数据，是已作数字摘要后的形态。源码中的操做：数组

//lets also push a context free action, the multi chain test will then also include a context free action
("context_free_actions", fc::variants({
    fc::mutable_variant_object()
       ("account", name(config::null_account_name))
       ("name", "nonce")
       ("data", fc::raw::pack(v))
    })
 )
复制代码

EOS的StateDB

咱们来设想一个场景：

A帐户转帐给B帐户100个SYS，如何查看A帐户的余额？
复制代码

对于不知道以上动做什么时候发生的咱们来说，咱们要如何作呢：

  • 首先是从头扫描区块内的交易，交易内的action，直到找到A帐户被建立的action所对应的区块号。
  • 从这个区块号开始继续扫描，要将全部A帐户的转帐，包括收入和支出的全部action记录下来并统计。
  • 算出A的当前余额。

以上步骤很容易出错且繁琐，每一次的余额查询都要重复这些操做实在是毫无心义，所以StateDB就诞生了，这个库顾名思义就是用来存储状态数据的，若是有了StateDB，上面的场景的解决办法就是：

  • 从A帐户被第一次收入SYS开始，为A帐户在StateDB中创建一个table，存储A帐户的余额，每当A帐户发生转帐的action，都会同步更新StateDB中相关table中A帐户的余额的值，当咱们须要知道A帐户的余额时，咱们能够直接查找这个余额state便可。

测试用例

这里为你们提供一个测试方法，也是个人命令history：

cleos create key
cleos wallet import 5JA9oDotJHoKnjUV6NrAMx4g5gWTCVCRLybTnG1XVU3EKGZZeNY
cleos wallet import --private-key 5JA9oDotJHoKnjUV6NrAMx4g5gWTCVCRLybTnG1XVU3EKGZZeNY
cleos wallet keys
cleos wallet import --private-key 5KQwrPbwdL6PhXujxW37FSSQZ1JiwsST4cqQzDeyXtP79zkvFD3
cleos wallet keys
cleos create account eosio usertesta1 EOS761KfjhYy3FSypZGG5hePrR8K2wzmw75JCDXgypKt2DLXZoZPW
cleos create account eosio eosio.token EOS761KfjhYy3FSypZGG5hePrR8K2wzmw75JCDXgypKt2DLXZoZPW
cleos set contract eosio.token work/src/github.com/eos/build/contracts/eosio.token/
cleos push action eosio.token create '["eosio","100000000.0000 SYS"]'
cleos push action eosio.token issue 
cleos push action eosio.token issue '["usertesta1","10000000.0000 SYS"]' -p eosio.token
cleos push action eosio.token issue '["usertesta1","10000000.0000 SYS"]' -p eosio
cleos get currency balance eosio.token usertesta1
cleos get table eosio.token usertesta1 accounts
cleos get table eosio.token eosio accounts
复制代码

能够看到当我想得到usertesta1帐户的余额时，是经过查询StateDB的table来获取的，而不是最开始的那种扫块的笨方法。

链式存储和StateDB存储的区别

  • 链式存储，存储的是固定结构的数据：Block=> Block Header/ transactions=>actions，一个action的结构例子：
{
    "account": "eosiotesta1",
    "name": "hi",
    "authorization": [{
      "actor": "eosiotesta1",
      "permission": "active"
    }],
    "data": {
    "user": "yeah"
    },
    "hex_data": "0000000000d08cf2"
}
复制代码

这个例子中，咱们调用了hello合约的hi函数，data传入的格式是hi函数中自定义的，因此在链式存储中，留给咱们发挥的空间也即在此。

  • StateDB，存储的是一个最终要记录的状态，这个状态数据必须是有意义的，是有人关心的，可有可无的数据请不要放在StateDB中去，因此StateDB是能够增删改查的，就像一个普通数据库那样，在合约中经过multi_index来操做，具体请参照文章EOS技术研究：合约与数据库交互。

    不少人搞不明白为何区块链不可篡改，却在StateDB中好像能够修改还能删除？
复制代码

其实不是这样的，链式存储的内容会将全部的动做action所有记录下来，是全部的过程数据，是流水账，元数据，这些数据一旦上链是不可修改，不可删除的。而StateDB只是为了保存一个状态信息，这个状态信息的修改与删除并不影响区块链的不可篡改的特性。

目前StateDB的主流实现方式是将它放在内存中，而当有些人对StateDB的认识有误差形成滥用的时候，会引起内存过载，所以一方面咱们要很是清楚的理解StateDB的含义，一方面EOSIO帮助咱们提供了一个mongodb-plugin插件来同步StateDB数据。

mongodb

安装

  • 下载tgz安装包
  • 解压安装到/usr/local/bin（或者其余某路径）
  • sudo mkdir /data/db

普通模式

  • sudo mongod
  • mongo

服务模式

咱们也可使用ubuntu系统的服务模式。

曾经咱们要定义一个系统启动时自启动服务的方式是在/etc/init.d 目录下写一个脚原本执行，如今在ubuntu的服务模式下，咱们能够丢弃那种方式，服务模式的命令是service，而如今的ubuntu系统推崇使用的systemctl命令，他俩的使用方法的区别就在于参数的顺序。
复制代码

  • 定义一个配置文件mongod.conf

  • 定义一个服务文件，放置在/etc/systemd/system/

    sudo vi /etc/systemd/system/mongodb.service
复制代码
[Unit]
Description=High-performance, schema-free document-oriented database
After=network.target
 
[Service]
User=mongodb
ExecStart=['mongod' command location] --quiet --config /etc/mongod.conf
 
[Install]
WantedBy=multi-user.target
复制代码

  • 查找服务状态

    systemctl list-unit-files
复制代码

  • 查询mongodb服务的激活状态

    systemctl is-enabled mongodb
复制代码

  • 激活系统自启动服务

    sudo systemctl enable mongodb
复制代码

  • 启动mongodb服务

    sudo systemctl start mongodb
复制代码

  • 查询mongodb服务状态

    sudo systemctl status mongodb
复制代码

  • 中止mongodb服务

    sudo systemctl stop mongodb
复制代码

###调试模式

IDE选择CLion，EOS源码下载最新的，保证本地可使用脚本编译经过，安装了相关依赖包，而后在CLion中导入EOS，CLion会自动识别CMakeList.txt文件生成makefile文件并make编译执行。编译时可能会遇到错误，通常来说要么是环境依赖没有配置好，要么就是CMakeList.txt要有修改，例如mongodb-plugin导入时要在总开关配置上开启。

set(BUILD_MONGO_DB_PLUGIN "true")
复制代码

所有编译成功之后，会自动识别出能够debug的target，与EOS中配备CMakeList.txt的模块一一对应。

安装Mongo Explorer插件

上面咱们介绍了MongoDB的安装方法，以及启动nodeos时的配置方法（除了上文提到的总开关，固然要在config.ini文件末尾设置上plugin = eosio::mongo_db_plugin，这部份内容演练屡次，这里再也不赘述。）链启动开始出块之后，会同步到mongodb中去（注意要预先启动mongod守护进程，能够理解为服务端），经过mongo命令接入可以使用mongo命令查询数据，但这样很不方便。能够在CLion中安装mongo-plugin，配置好效果以下：

相关文章和视频推荐

【许晓笛】EOS 数据库与持久化 API —— 实战

圆方圆学院聚集大批区块链名师，打造精品的区块链技术课程。 在各大平台都长期有优质免费公开课，欢迎报名收看。

公开课地址：ke.qq.com/course/3451…

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程