腾讯工程师教你玩转 RocksDB

时间  2019-11-20
标签 腾讯 工程师 rocksdb 栏目 腾讯 繁體版
原文   原文链接

欢迎你们前往云+社区，获取更多腾讯海量技术实践干货哦~mysql

做者：腾讯云数据库内核团队git

原文标题：【腾讯云CDB】教你玩转MyRocks/RocksDB—STATISTICS与后台线程篇github

0. Intro

在facebook的MySQL版本(如下称为MyRocks)中，RocksDB是可选的存储引擎。相比于InnoDB引擎，RocksDB的一个重要的优点是它使用更少的磁盘空间。在生产系统中，特别是用户数在亿级以上的互联网应用，磁盘空间是其中比较大的成本之一，而可以使用更少的磁盘空间的RocksDB无疑是具备吸引力的。然而在生产系统中使用新的存储引擎天然有它的潜在风险，除了经过外部的各类benchmark工具测试获得各类性能数据，全方位的内部指标能够帮助咱们真正了解数据库内部正在发生的事情，对于性能调优和开发都具备指导意义。而MyRocks经过SHOW ENGINE ROCKSDB STATUS和多个INFORMATION_SCHEMA表等方式提供了较为全面的内部指标。sql

本文将介绍SHOW ENGINE ROCKSDB STATUS中关于STATISTICS统计值与后台线程的实现原理。在了解实现原理的基础上，即可以较容易地经过扩展功能使它更好地为咱们服务。数据库

调用SHOW ENGINE ROCKSDB STATUS指令会返回多行数据，其中包括：数据结构

  • STATISTICS：RocksDB引擎全部线程的全部操做的各种count/time的累加，好比rocksdb.block.cache.hit和rocksdb.db.write.micros。
  • BG_THREADS: 后台线程的状态。
  • DBSTATS: 数据库操做的统计。
  • CF_COMPACTION: 各个Column family进行compaction的相关指标统计。
  • MEMORY_STATS: 内存使用状况。

调用SHOW ENGINE ROCKSDB STATUS会返回若干行数据，然而这些数据并不是事先存储于某个表格中，而是经过调用位于rocksdb/ha_rocksdb.cc文件中的rocksdb_show_status函数将内存中对应的数值进行规整返回给用户。app

1. STATISTICS

根据RocksDB官方相关文档介绍STATISTICS，开启STATISTICS会增长增长5%-10%额外开销。函数

STATISTICS统计值记录着RocksDB引擎全部线程的全部操做的各种count/time的累加。RocksDB引擎在它的各种操做如Put/Get/Delete中的代码都设立了不少埋点。工具

以函数GetEntryFromCache为例，它的做用是返回可用的block cache。特别地，能够看到statistics是GetEntryFromCache和block_cache->Lookup的一个参数。没错，就是靠着statistics这个参数它处处收集数据。 当有可用的block cache时，调用了三次RecordTick为其中三个统计值增长计数；没有可用的block cache，一样也为BLOCK_CACHE_MISS和block_cache_miss_ticker增长计数。源码分析

Cache::Handle* GetEntryFromCache(Cache* block_cache, const Slice& key,
                                 Tickers block_cache_miss_ticker,
                                 Tickers block_cache_hit_ticker,
                                 Statistics* statistics) {
  auto cache_handle = block_cache->Lookup(key, statistics);
  if (cache_handle != nullptr) {
    PERF_COUNTER_ADD(block_cache_hit_count, 1);
    // overall cache hit
    RecordTick(statistics, BLOCK_CACHE_HIT);
    // total bytes read from cache
    RecordTick(statistics, BLOCK_CACHE_BYTES_READ,
               block_cache->GetUsage(cache_handle));
    // block-type specific cache hit
    RecordTick(statistics, block_cache_hit_ticker);
  } else {
    // overall cache miss
    RecordTick(statistics, BLOCK_CACHE_MISS);
    // block-type specific cache miss
    RecordTick(statistics, block_cache_miss_ticker);
  }

  return cache_handle;
}

1.1 RocksDB的STATISTICS接口

使用STATISTICS的方法也很简单。

它的头文件位于：

include/rocksdb/statistics.h
monitoring/statistics.h

使用方法：

Options options;
options.statistics = rocksdb::CreateDBStatistics();

可选统计级别：

  • kExceptDetailedTimers: 除去mutex等待和压缩的计时
  • kExceptTimeForMutex: 除去mutex等待的计时
  • kAll: 全部

数据统计类型分红两种:

  • ticker：计数，类型是64位无符号整型。用于度量counters (e.g. “rocksdb.block.cache.hit”), cumulative bytes (e.g. “rocksdb.bytes.written”) 或者 time (e.g. “rocksdb.l0.slowdown.micros”)。
  • histogram：统计数据的统计分布，包括最大值、最小值、平均值、中位数、标准差。

统计函数的接口：

  • MeasureTime：函数名有歧义。其实是把value记录到histogram中。
  • RecordTick：累加ticker。

获取结果的接口:

  • Statistics::getTickerCount：指定ticker type得到count。
  • Statistics::histogramData：指定Histograms type，返回一个HistogramData结构体，成员是统计值，包括最大值、最小值、平均值、中位数、标准差。
  • Statistics::getHistogramString：指定Histograms type，返回直方图可读的字符串。
  • Statistics::ToString()：返回可读的字符串，包括全部的ticker和histogram。

1.2 RocksDB的STATISTICS实现

RocksDB实现了StatisticsImpl类，继承了Statistics的接口。

主要接口：

  • getTickerCount
  • histogramData
  • getHistogramString
  • getAndResetTickerCount
  • recordTick
  • measureTime
  • ToString

成员变量：

  • TickerInfo tickers_[INTERNAL_TICKER_ENUM_MAX];
  • HistogramInfo histograms_[INTERNAL_HISTOGRAM_ENUM_MAX];

这里的TickerInfo和HistogramInfo类型的数据结构是类似的：一个线程局部的counter或者time；加上一个非线程局部的统计值用来累加counter或者time。

TickerInfo类型包含两个参数：

ThreadLocalPtr类型(真实类型ThreadTickerInfo)的thread_value，包含：

  • 整型类型的value
  • 指向merged_sum的指针
  • 整型类型的merged_sum
  • HistogreamInfo类型包含两个参数：

ThreadLocalPtr类型(真实类型ThreadHistogramInfo)的thread_value，包含：

  • HistogramImpl类型的value
  • 指向merged_hist的指针
  • 指向merge_lock的指针
  • HistogramImpl类型的merged_hist
  • Mutex类型的merge_lock

事实上，STATISTICS相关实现是比较巧妙的，也是使用STATISTICS仅增长5%-10%的关键。为了不线程间共享数据致使CPU的cache频繁失效，merged_sum和merged_hist初始化时都是空的，并且当且仅当线程退出时，才调用mergeThreadValue函数将TickerInfo和HistogreamInfo中的线程局部变量累加到merged_sum和merged_hist。

1.3 MyRocks的使用

MyRocks使用了RocksDB提供的接口进行数据统计。经过声明了变量rocksdb_stats，而且随着RocksDB引擎启动时经过rocksdb_init_func函数进行初始化。

rocksdb_stats = rocksdb::CreateDBStatistics();
rocksdb_db_options->statistics = rocksdb_stats;

除了使用全部RocksDB引擎层的统计，MyRocks还经过定义了

commit_latency_stats = new rocksdb::HistogramImpl();

在rocksdb_commit_by_xid和rocksdb_commit两个函数中经过计时的方式，统计了每一次commit所花费的时间。

rocksdb::StopWatchNano timer(rocksdb::Env::Default(), true);
...
commit_latency_stats->Add(timer.ElapsedNanos() / 1000);

在rocksdb_show_status函数中，输出Statistics统计的过程以下：

  1. 若是定义rocksdb_stats，则调用rocksdb_stats->ToString()将统计值转化为可读的字符串;
  2. commit_latency_stats是直方图的类型，输出对应的50%, 95%, 99%, 100%四个位点的对应的值。
  3. 假如定义了is-write-stopped或者actual-delayed-write-rate等Property变量，一样会将它们输出。

2 后台线程

经过调用SHOW ENGINE ROCKSDB STATUS能够获得与BG_THREADS相关结果，它的输出结果相似于：

Type: BG_THREADS
Name: 140173379593984
Status:
thread_type: Low Pri##
cf_name: default
operation_type: Compaction
operation_stage: CompactionJob::ProcessKeyValueCompaction
elapsed_time_ms: 6172.244 ms
BaseInputLevel: 0
BytesRead: 992806363
BytesWritten: 992071408
IsDeletion: 0
IsManual: 0
IsTrivialMove: 0
JobID: 1936
OutputLevel: 5
TotalInputBytes: 1586832446
state_type:

能够看到较多的信息量：这个线程正在进行Compaction，处于CompactionJob::ProcessKeyValueCompaction阶段，已经耗时6172.244 ms，读取的字节数为992806363，写出的字节数为992071408。然而并不包括可能感兴趣的正在进行Compaction的源文件和目标文件等信息。正如文章开头提到的，了解实现原理可以使咱们更好地进行扩展。

2.1 thread status的接口与实现

MyRocks中的SHOW ENGINE ROCKSDB STATUS指令展现BG_THREAD的机制使用了RocksDB中关于thread status的接口。

它的头文件位于：

include/rocksdb/env.h
include/rocksdb/thread_status.h
util/thread_operation.h
monitoring/thread_status_updater.h
monitoring/thread_status_util.h

关键类：

ThreadStatusUpdater：存储了各自后台线程的状态和全部后台线程状态的指针。 ThreadStatusUtil：该类只有静态变量和静态方法，推荐经过该类的方法去更新ThreadStatusUpdater中的状态。

使用方法：

  • 将该线程的统计加入ThreadStatusUpdater：调用ThreadStatusUtil::RegisterThread
  • 将该线程的统计从ThreadStatusUpdater删除：调用ThreadStatusUtil::UnregisterThread
  • 其余修改thread status的函数：见monitoring/thread_status_util.h

经过调用env的GetThreadList()函数能够得到当先后台线程的状态，状态的状态值存放于一个vector中。将其中的内容展示出来，相似于下图：

 

从代码中能够看到，实现thread status的目的展现flush和compaction的运行状态。固然，咱们也能够将用户线程的状态存储到thread status，经过调用SHOW ENGINE ROCKSDB STATUS指令展现。

特别地，能够看到compaction特有的状态值有：

enum CompactionPropertyType : int {
    COMPACTION_JOB_ID = 0,
    COMPACTION_INPUT_OUTPUT_LEVEL,
    COMPACTION_PROP_FLAGS,
    COMPACTION_TOTAL_INPUT_BYTES,
    COMPACTION_BYTES_READ,
    COMPACTION_BYTES_WRITTEN,
    NUM_COMPACTION_PROPERTIES
  };

flush特有的状态值有：

  enum FlushPropertyType : int {
    FLUSH_JOB_ID = 0,
    FLUSH_BYTES_MEMTABLES,
    FLUSH_BYTES_WRITTEN,
    NUM_FLUSH_PROPERTIES
  };

2.2 MyRocks/RocksDB的使用

在RocksDB的线程池实现中，每个启动的后台线程都会经过调用ThreadStatusUtil::RegisterThread加入被观测的后台线程的集合中。

ThreadPoolImpl::Impl::StartBGThreads-->BGThreadWrapper-->ThreadStatusUtil::RegisterThread

在rocksdb_show_status函数中，输出BG_THREAD的过程以下：

  1. 经过调用GetThreadList(&thread_list)得到全部后台线程的ThreadStatus的集合。
  2. 经过遍历ThreadStatus的集合将每个后台线程的状态依次输出。

3. 小结

本文章介绍了SHOW ENGINE ROCKSDB STATUS指令中关于STATISTICS与BG_THREAD的相关内容。

相关阅读

MySQL 内核深度优化

【腾讯云CDB】深刻解析MySQL binlog

【腾讯云CDB】源码分析 · MySQL binlog组提交和Multi-Threaded-Slave

此文已由做者受权腾讯云＋技术社区发布，转载请注明文章出处

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程