OLAP和OLTP

前言

在技术角度看解决大数据场景下的高效数据筛选，统计和分析，在数万数据中，任意组合查询条件，筛选须要的数据，作到毫秒返回。

业务特色：

• 数据须要支持各类组合，要求低延迟。
• 数据规模大，亿级别数据，须要支持迭代扩展。

OLTP 和 OLAP

数据库适合OLTP，列式数据库适合OLAP。

用数据库搞OLAP遇到以下问题：

• 数据量膨胀后，查询和写入性能明显降低，通常采用分库分表方式应对。
• 数据量膨胀后，很难知足运营多角度查询的需求，非索引查询可能形成全表扫描，性能降低明显。

行式存储 和 列式存储

行式数据库适合近线分析，好比查询表中某几条符合条件的记录的全部字段场景。 列式数据库适合作数据统计，好比用户表可能存在几十个字段，可是在统计需求上只须要其中几个字段，若是式行式则须要全表扫描，比较出名的式HBase。

HBase的使用核心式对于RowKey的设计，通常把经常使用的筛选条件组合设计到rowKey中，经过rowKey的get和scan获取单条和多条查询。