OpenTSDB 数据存储详解

本文首发于 vivo互联网技术 微信公众号
连接： https://mp.weixin.qq.com/s/qayKiwk5QAIWI7-nyD3FVA
做者：DuZhimin

随着互联网、尤为是物联网的发展，咱们须要把各类类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看能够作成多纬度报表，揭示其趋势性、规律性、异常性;往将来看能够作大数据分析，机器学习，实现预测和预警。

这些数据的典型特色是：产生频率快（每个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应惟一的时间）、测点多信息量大（实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，天天产生几十GB的数据量）。

基于时间序列数据的特色，关系型数据库没法知足对时间序列数据的有效存储与处理，所以迫切须要一种专门针对时间序列数据来作优化处理的数据库系统。

1、简介

一、时序数据

时序数据是基于时间的一系列的数据。

二、时序数据库

时序数据库就是存放时序数据的数据库，而且须要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。

对比传统数据库仅仅记录了数据的当前值，时序数据库则记录了全部的历史数据。同时时序数据的查询也老是会带上时间做为过滤条件。

三、OpenTSDB

毫无遗漏的接收并存储大量的时间序列数据。

3.一、存储

1. 无需转换，写的是什么数据存的就是什么数据
2. 时序数据以毫秒的精度保存
3. 永久保留原始数据

3.二、扩展性

1. 运行在Hadoop 和 HBase之上
2. 可扩展到每秒数百万次写入
3. 能够经过添加节点扩容

3.三、读能力

1. 直接经过内置的GUI来生成图表
2. 还能够经过HTTP API查询数据
3. 另外还可使用开源的前端与其交互

四、OpenTSDB核心概念

咱们来看一下这样一段信息：2019-12-5 22:31:21版本号为‘3.2.1’的某产品客户端的首页PV是1000W

1. Metric：指标，即平时咱们所说的监控项。譬如上面的PV
2. Tags：维度，也即标签，在OpenTSDB里面，Tags由tagk和tagv组成的键值对，即tagk=takv。标签是用来描述Metric的，好比上面的某产品客户端的版本号 version=‘3.2.1’
3. Value：一个Value表示一个metric的实际数值，好比：1000W
4. Timestamp：即时间戳，用来描述Value是何时发生的：好比：2019-12-5 22:31:21
5. Data Point：即某个Metric在某个时间点的数值，Data Point包括如下部分：Metric、Tags、Value、Timestamp
6. 保存到OpenTSDB的数据就是无数个DataPoint

上面描述2019-12-5 22:31:21版本号为‘3.2.1’的某产品客户端的首页PV是1000W，就是1个DataPoint。

2、OpenTSDB的部署架构

一、架构图

二、说明

1. OpenTSDB底层是使用HBase来存储数据的，也就是说搭建OpenTSDB以前，必须先搭建好HBase环境。
2. OpenTSDB是由一系列的TSD和实用的命令行工具组成。
3. 应用经过运行一个或多个tsd(Time Series Daemon， OpenTSDB的节点)来与OpenTSDB的交互。
4. 每一个TSD是独立的，没有master，没有共享状态，因此你能够运行尽量多的 TSD 来处理工做负载。

3、HBase简介

从OpenTSDB的部署架构中咱们看到OpenTSDB是创建在HBase之上的，那么HBase又是啥呢？为了更好的剖析OpenTSDB，这里咱们简要介绍一下HBase。

一、HBase是一个高可靠性、强一致性、高性能、面向列、可伸缩、实时读写的分布式开源NoSQL数据库。

二、HBase是无模式数据库，只须要提早定义列簇，并不须要指定列限定符。同时它也是无类型数据库，全部数据都是按二进制字节方式存储的。

三、它把数据存储在表中，表按“行键，列簇，列限定符和时间版本”的四维坐标系来组织，也就是说若是要惟必定位一个值，须要四个都惟一才行。下面参考Excel来讲明一下：

四、对 HBase 的操做和访问有 5 个基本方式，即 Get、Put、Delete 和 Scan 以及 Increment，HBase 基于非行键值查询的惟一途径是经过带过滤器的扫描。

五、数据在HBase中的存储（物理上）：

六、数据在HBase中的存储（逻辑上）：

4、 支撑OpenTSDB运行的HBase表

若是你第一次用你的HBase实例运行OpenTSDB，须要建立必要的HBase表，OpenTSDB 运行仅仅须要四张表：tsdb, tsdb-uid, tsdb-tree 和 tsdb-meta，全部的DataPoint 数据都保存在这四张表中，建表语句以下：

一、tsdb-uid

create 'tsdb-uid',
{NAME => 'id', COMPRESSION => 'NONE', BLOOMFILTER => 'ROW', DATA_BLOCK_ENCODING => 'PREFIX_TREE'},
{NAME => 'name', COMPRESSION => 'NONE', BLOOMFILTER => 'ROW', DATA_BLOCK_ENCODING => 'PREFIX_TREE'}

二、tsdb

create 'tsdb',
{NAME => 't', VERSIONS => 1, COMPRESSION => 'NONE', BLOOMFILTER => 'ROW', DATA_BLOCK_ENCODING => 'PREFIX_TREE'}

三、tsdb-tree

create 'tsdb-tree',
{NAME => 't', VERSIONS => 1, COMPRESSION => 'NONE', BLOOMFILTER => 'ROW', DATA_BLOCK_ENCODING => 'PREFIX_TREE'}

四、tsdb-meta

create 'tsdb-meta',
{NAME => 'name', COMPRESSION => 'NONE', BLOOMFILTER => 'ROW', DATA_BLOCK_ENCODING => 'PREFIX_TREE'}

后面将对照实际数据来专门讲解这四张表分别存储的内容。

5、 OpenTSDB是如何把一个数据点保存到HBase中的呢？

一、首先检查一下四个表里面的数据

从上面看，四个表里面的数据都是空的

二、而后咱们往OpenTSDB写一个数据点

@Test
public void addData() {
    String metricName = "metric";
    long value = 1;
    Map<String, String> tags = new HashMap<String, String>();
    tags.put("tagk", "tagv");
    long timestamp = System.currentTimeMillis();
    tsdb.addPoint(metricName, timestamp, value, tags);
    System.out.println("------------");
}

三、插入数据以后咱们再来查看一下四个表数据

发现HBase里面有数据，在tsdb-uid、tsdb、和 tsdb-meta 表里面有数据，而tsdb-tree 表里面没任何数据，下面咱们针对这些数据作一下具体分析。

四、tsdb-tree表

它是一张索引表，用于展现树状结构的，相似于文件系统，以方便其余系统使用，这里咱们不作深刻的分析。

经过配置项tsd.core.tree.enable_processing来打开是否须要往此表里面写入数据。

五、tsdb-meta表

这个表是OpenTSDB中不一样时间序列的一个索引，能够用来存储一些额外的信息，该表只有一个列族name，两个列，分别为ts_meta、ts_ctr。这个表里面的数据是能够根据配置项配置来控制是否生成与否，生成几个列，具体的配置项有：

tsd.core.meta.enable_realtime_ts
tsd.core.meta.enable_tsuid_incrementing
tsd.core.meta.enable_tsuid_tracking

Row Key 和tsdb表同样，其中不包含时间戳，<metric_uid><tagk1><tagv1>[...<tagkN><tagvN>]

ts_meta Column 和UIDMeta类似，其为UTF-8编码的JSON格式字符串

ts_ctr Column 计数器，用来记录一个时间序列中存储的数据个数，其列名为ts_ctr，为8位有符号的整数。

六、tsdb-uid表数据分析

tsdb-uid用来存储UID映射，包括正向的和反向的。存在两列族，一列族叫作name用来将一个UID映射到一个字符串，另外一个列族叫作id，用来将字符串映射到UID。列族的每一行都至少有如下三列中的一个：

• metrics 将metric的名称映射到UID
• tagk 将tag名称映射到UID
• tagv 将tag的值映射到UID

若是配置了metadata，则name列族还能够包括额外的metatata列。

6.一、id 列族

• Row Key：实际的指标名称或者tagK或者tagV
• Column Qualifiers：metrics、tagk、tagv三种列类型中一种
• Column Value ：一个无符号的整数，默认是被编码为3个byte，自增的数字，其值为UID

6.二、name 列族

• Row Key ：UID，就是ID列簇的值
• Column Qualifiers：metrics、tagk、tagv、metrics_meta、tagk_meta、tagv_meta六种列类型中一种，*_meta是须要开启tsd.core.meta.enable_realtime_uid才会生成
• Column Value：与UID对应的字符串，对于一个*_meta列，其值将会是一个UTF-8编码的JSON格式字符串。不要在OpenTSDB外部去修改该值，其中的字段顺序会影响CAS调用。

七、tsdb表：

时间点数据就保存在此表中，只有一个列簇t:

7.一、RowKey格式

• UID：默认编码为3 Bytes，而时间戳会编码为4 Bytes
• salt：打散同一metric不一样时间线的热点
• metric, tagK, tagV：实际存储的是字符串对应的UID（在tsdb-uid表中）
• timestamp：每小时数据存在一行，记录的是每小时整点秒级时间戳

7.二、Column格式

column qualifier 占用2 Bytes或者4 Bytes，

占用2 Bytes时表示以秒为单位的偏移，格式为：

• 12 bits:相对row表示的小时的delta, 最多2^ 12 = 4096 > 3600所以没有问题
• 1 bit: an integer or floating point
• 3 bits: 标明数据的长度，其长度必须是一、二、四、8。000表示1个byte,010表示2byte，011表示4byte，100表示8byte

占用4 Bytes时表示以毫秒为单位的偏移，格式为：

• 4 bits：十六进制的1或者F
• 22 bits:毫秒偏移
• 2 bit:保留
• 1 bit: an integer or floating point，0表示整数,1表示浮点数
• 3 bits: 标明数据的长度，其长度必须是一、二、四、8。000表示1个byte,010表示2byte，011表示4byte，100表示8byte

7.三、value

value 使用8 Bytes存储，既能够存储long,也能够存储double。

7.四、tsdb表设计的特色：

1. metric和tag映射成UID，不存储实际字符串，以节约空间。
2. 每条时间线每小时的数据点归在一行，每列是一个数据点，这样每列只须要记录与这行起始时间偏移，以节省空间。
3. 每列就是一个KeyValue。

6、 写在最后

一、应用场景

• 做为时序数据库，OpenTSDB 不只仅能够提供原始数据的查询，而且还支持对原始数据的聚合能力，支持过滤、过滤以后的聚合计算。
• 支持降采样查询，好比原始数据是1分钟一个数据点，若是我想1个小时一个数据点进行展现，也能支持。
• 支持根据维度分组查询，好比我有一个中国地市的数据，如今我想根据省份进行分组以后查询，也能支持。

二、使用注意事项

• OpenTSDB 默认状况下的字符集是ISO-8859-1,为何会使用这个字符集呢，是由于它的编码是单字节编码，编码后的长度是固定的，若是要支持中文，须要对源码进行编译，修改成UTF-8便可。
• 默认提供的HBase建表语句是没有预分区的，这样会致使大批量数据写入的时候有热点问题，建议进行预分区。
• OpenTSDB不适合超大数据量，在千万级、亿级中提取几万条数据，好比某个指标半年内的5分钟级别的数据，仍是很快响应的。但若是再提取多点数据，几十万，百万这样的量级，又或者提取后再作个聚合运算，OpenTSDB 就勉为其难，实际使用的时候用做服务端机器的监控无任何问题，若是做为客户端APP监控，响应就比较迟缓。
• OpenTSDB 只有4 张HBase 表，全部的数据都存放在一张表，这就意味在OpenTSDB 这个层级上是没法更小的粒度来区别对待不一样业务，好比不一样的业务建不一样的表存储数据。
• OpenTSDB 支持实时聚合计算功能，可是基于单点，因此运算能力有限。

三、展望

若是须要支持特大批量时序数据，建议使用Druid或InfluxDB，其中InfluxDB是最易用的时序数据库。

更多内容敬请关注vivo 互联网技术微信公众号

注：转载文章请先与微信号：Labs2020联系。