大数据总结【第四章：Hbase】
简答题
1. HBase简介
HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理很是庞大的表，能够经过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表web
2. HBase 和传统关系数据库的区别
| 区别 | 传统关系数据库 | HBase |
|---|---|---|
| 数据类型 | 关系模型 | 数据模型 |
| 数据操做 | 插入、删除、更新、查询、多表链接 | 插入、查询、删除、清空，没法实现表与表之间关联 |
| 存储模式 | 基于行模式存储，元组或行会被连续地存储在磁盘中 | 基于列存储，每一个列族都由几个文件保存，不一样列族的文件是分离的 |
| 数据索引 | 针对不一样列构建复杂的多个索引 | 只有一个行键索引 |
| 数据维护 | 用最新的当前值去替换记录中原来的旧值 | 更新操做不会删除数据旧的版本，而是生成一个新的版本 |
| 可伸缩性 | 很难实现横向扩展，纵向扩展的空间也比较有限 | 轻易地经过在集群中增长或者减小硬件数量来实现性能的伸缩 |
3. 数据模型
3.1 概述
- HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳
- 每一个值是一个未经解释的字符串，没有数据类型
- 用户在表中存储数据，每一行都有一个可排序的行键和任意多的列
- 表在水平方向由一个或者多个列族组成，一个列族中能够包含任意多个列，同一个列族里面的数据存储在一块儿
- 列族支持动态扩展，能够很轻松地添加一个列族或列，无需预先定义列的数量以及类型，全部列均以字符串形式存储，用户须要自行进行数据类型转换
- HBase中执行更新操做时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留（这是和HDFS只容许追加不容许修改的特性相关的）
3.2相关概念
- 表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族
- 行：每一个HBase表都由若干行组成，每一个行由行键（row key）来标识。
- 列族：一个HBase表被分组成许多“列族”（Column Family）的集合，它是基本的访问控制单元
- 列限定符：列族里的数据经过列限定符（或列）来定位
- 单元格：在HBase表中，经过行、列族和列限定符肯定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[]
- 时间戳：每一个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引
3.3四维坐标定位数据
HBase中须要根据行键、列族、列限定符和时间戳来肯定一个单元格，所以，能够视为一个“四维坐标”，即
[行键, 列族, 列限定符, 时间戳]
shell
4. HBase实现原理
4.1 HBase功能组件
HBase的实现包括三个主要的功能组件：
（1）库函数：连接到每一个客户端
（2）一个Master主服务器
（3）许多个Region服务器
主服务器Master负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡
Region服务器负责存储和维护分配给本身的Region，处理来自客户端的读写请求
客户端并非直接从Master主服务器上读取数据，而是在得到Region的存储位置信息后，直接从Region服务器上读取数据
客户端并不依赖Master，而是经过Zookeeper来得到Region位置信息，大多数客户端甚至历来不和Master通讯，这种设计方式使得Master负载很小数据库
4.2 Hbase的各功能组件及做用
Hbase的实现包括3个主要的功能组件：库函数，连接到每一个客户端；一个Master主服务器；许多个Region服务器。Region服务器负责存储和维护分配给本身的Region，处理来自客户端的读写请求。主服务器Master负责管理和维护Hbase表的分区信息，实时监测集群中的Region服务器，把特定的Region分配到可用的Region服务器上，确保Region之间的负载均衡。编程
4.3 表和Region
- 开始只有一个Region，后来不断分裂
- Region拆分操做很是快，接近瞬间，由于拆分以后的Region读取的仍然是原存储文件，直到“合并”过程把存储文件异步地写到独立的文件以后，才会读取新文件
- 每一个Region默认大小是100MB到200MB（2006年之前的硬件配置）
– 每一个Region的最佳大小取决于单台服务器的有效处理能力
– 目前每一个Region最佳大小建议1GB-2GB（2013年之后的硬件配置） - 同一个Region不会被分拆到多个Region服务器
- 每一个Region服务器存储10-1000个Region
4.4 Region的定位
- 元数据表，又名.META.表，存储了Region和Region服务器的映射关系
- 当HBase表很大时， .META.表也会被分裂成多个Region
- 根数据表，又名-ROOT-表，记录全部元数据的具体位置
- -ROOT-表只有惟一一个Region，名字是在程序中被写死的
- Zookeeper文件记录了-ROOT-表的位置
4.5 HBase的三层结构中各层次的名称和做用
Zookeeper文件–> ROOT表（单一）–> .META表（多个）–> 用户数据表（Region)（多个）数组
| 层次 | 名称 | 做用 |
|---|---|---|
| 第一层 | Zookeeper文件 | 记录了-RO0T-表的位置信息 |
| 第二层 | -R00T-表 | 记录了. META.表的Region位置信息记录了. META.表的Region位置信息-ROOT-表只能有一-个Region。经过-R00T-表， 就能够访问. META.表中的数据 |
| 第三层 | META.表 | 记录了用户数据表的Region位置信息，. META.表能够有多个Region，保存了HBase 中全部用户数据表的Region位置信息 |
4.6 阐述HBase的三层结构下,客户端是如何访问到数据的。
首先访问Zookeeper,获取-ROOT表的位置信息,而后访问-Root-表,得到.MATA.表的信息,接着访问.MATA.表,找到所需的Region具体位于哪一个Region服务器,最后才会到该Region服务器读取数据。缓存
4.7 阐述HBase的数据分区机制
HBase采用分区存储,一个大的表会被分拆许多个Region,这些Region会被分发到不一样的服务器上实现分布式存储。服务器
5. 运行机制
5.1 HBase系统架构
- 客户端
- 客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程
- Zookeeper服务器
- Zookeeper能够帮助选举出一个Master做为集群的总管，并保证在任什么时候刻总有惟一一个Master在运行，这就避免了Master的“单点失效”问题
- Master
- 主服务器Master主要负责表和Region的管理工做：
– 管理用户对表的增长、删除、修改、查询等操做
– 实现不一样Region服务器之间的负载均衡
– 在Region分裂或合并后，负责从新调整Region的分布
– 对发生故障失效的Region服务器上的Region进行迁移
- Region服务器
- Region服务器是HBase中最核心的模块，负责维护分配给本身的Region，并响应用户的读写请求
5.2 Region服务器工做原理
（1）用户读写数据的过程。
用户数据首先被写入MemStore和HLog中，当写入HLog以后，调用commit()才会返回给客户端；读数据时，Region服务器会最早访问MemStore缓存，若是数据不存在才会到StoreFile中去寻找。
（2）缓存的刷新。
系统周期调用Region.flushcache()把MemStore缓存里面的内容写到磁盘的StoreFile文件中，清空缓存，并在HLog文件中写入一个标记，用来表示缓存中的内容已经被写入到StoreFile中。（每次缓存刷新操做都会在磁盘上生成一个新的StoreFile文件，所以每一个Store中会包含多个StoreFile文件。）
（3）StoreFile文件的合并。
为减小查找时间，调用Store.compace()将全部的StoreFile文件合成一个大文件。架构
5.3 Store工做原理
- Store是Region服务器的核心
- 多个StoreFile合并成一个
- 单个StoreFile过大时，又触发分裂操做，1个父Region被分裂成两个子Region
5.4 HLog工做原理
- 分布式环境必需要考虑系统出错。HBase采用HLog保证系统恢复
- HBase系统为每一个Region服务器配置了一个HLog文件，它是一种预写式日志（Write Ahead Log）
- 用户更新数据必须首先写入日志后，才能写入MemStore缓存，而且，直到MemStore缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘
- Zookeeper会实时监测每一个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper会通知Master
- Master首先会处理该故障Region服务器上面遗留的HLog文件，这个遗留的HLog文件中包含了来自多个Region对象的日志记录
- 系统会根据每条日志记录所属的Region对象对HLog数据进行拆分，分别放到相应Region对象的目录下，而后，再将失效的Region从新分配到可用的Region服务器中，并把与该Region对象相关的HLog日志记录也发送给相应的Region服务器
- Region服务器领取到分配给本身的Region对象以及与之相关的HLog日志记录之后，会从新作一遍日志记录中的各类操做，把日志记录中的数据写入到MemStore缓存中，而后，刷新到磁盘的StoreFile文件中，完成数据恢复
- 共用日志优势：提升对表的写操做性能；缺点：恢复时须要分拆日志
5.4.1 试述HLog的工做原理?
答：Hbase为每一个Region服务器配置了一个HLog文件，它是一种预写式日志，用户更新数据必须先写入日志后，才能写入MemStore缓存，而且，直到MemStore缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘。负载均衡
5.4.2 在HBase中,每一个Region服务器维护一个HLog,而不是为每一个Region 都单独维护一个HLog。请说明这种作法的优缺点。
优势:多个Region对象的更新操做所发生的日志修改,只须要不断把日志记录追加到单个日志文件中,不须要同时打开、写入到多个日志文件中。
缺点:若是一个Region服务器发生故障,为了恢复其上次的Region对象,须要将Region服务器上的对象,须要将Region服务器上的HLog按照其所属的Region对象进行拆分,而后分发到其余Region服务器上执行恢复操做。异步
6. 编程：shell命令的简单使用
1．建立表create
2．查看表结构describe
3．插入数据put
4．查看数据get
5．浏览数据scan
6．修改表结构alter
7．删除数据delete
填空
一、HBase 须要根据____,________,______，_____来肯定一个单元格
【解析：行键 列族 列限定符 时间戳s】
二、Hbase是一个稀疏、多维度、排序的映射表，这张表的索引是_____________、_____________、 ____________、_____________。
【解析：行键、列族、列限定符、时间戳】
三、Hbase的实现包括3个主要的功能组件____________、_____________、_____________。
【解析：库函数、一个master服务器、多个region服务器】
四、Hbase以_____________为单位进行单独存储。
【解析：列族】
五、HBase采用分区存储,一个大的表会被分拆许多个Region,这些Region 会被分发到不一样的服务器上实现分布式存储。
六、 主服务器Master主要负责表和Region的管理工做
七、HBase是一个高可靠、高耐性 ____________、____________、 的分布式数据库，主要用来存储 ____________、 和____________、 的松散数据。
答案：面向列、可伸缩、非结构化、半结构化
七、 浏览Student表中信息，所使用的命令是： scan ‘Student’。
九、HBase采用 ____________ ，一个大的表会被拆分许多个Region，这些Region会被分发到不一样的服务器上实现____________。
答：分区存储；分布式存储
十、启动HBase的命令（ start-hbase.sh ）；
十一、关闭Hbase的命令（ stop-hbase.sh ）；
十二、传统数据库是基于（行）存储的，HBase是基于（列）存储的。
判断
一、HBase对于空（NULL）的列，不须要占用存储空间。 （没有则空不存储）（ 对 ）
二、 HBase能够有列，能够没有列族（column family）。 （有列族） （ 错 ）
三、 HBase是一个构建在HDFS上的分布式列存储系统。对
四、关系型数据库仍然是大数据处理中的关键技术。（×）（判断题）
单选择
一、下面哪一层不属于HBase的三层结构（D） A.Zookeeper 文件 B.-ROOT-表 C. .META.表 D.用户数据表 二、HBase是一种____数据库（B） A.键值数据库 B.列式数据库 C.关系数据库 D.文档数据库 三、下列对HBase数据模型的描述错误的是（C） A.每一个HBase表都由若干行组成，每一个行由行键（row key）来标识 B.HBase列族支持动态扩展，能够很轻松地添加一个列族或列 C.HBase中执行更新操做时，会删除数据旧的版本，并生成一个新的版本 D.HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳 四、下列说法正确的是（B） A.HBase的实现包括的主要功能组件是库函数，一个Master主服务器和一个Region服务器 B.Zookeeper是一个集群管理工具，经常使用于分布式计算，提供配置维护、域名服务、分布式同步等。 C.若是不启动Hadoop，则HBase彻底没法使用 D.若是经过HBase Shell插入表数据，能够插入一行数据或一个单元格数据。 五、每一个Region的建议最佳大小是（A） A.1GB-2GB B.500MB-1000MB C.100MB-200MB D.2GB-4GB 六、HBase三层结构的顺序是（A） A.Zookeeper文件，-ROOT-表，.MEATA.表 B.Zookeeper文件，.MEATA.表，-ROOT-表 C.-ROOT-表，Zookeeper文件，.MEATA.表 D…MEATA.表，Zookeeper文件，-ROOT-表 七、客户端是经过 ____级寻址来定位Region（A） A.三 B.二 C.四 D.一 八、关于HBase Shell命令解释错误的是（C） A.put：向表、行、列指定的单元格添加数据 B.create：建立表 C.list：显示表的全部数据（列出表的信息） D.get：经过表名、行、列、时间戳、时间范围和版本号来得到相应单元格的值 九、HBase依靠（ A ）存储底层数据 A、HDFS B、Hadoop C、Memory D、MapReduce 十、下列对Hbase的描述哪一个是错误的（C） A. Hbase是针对谷歌BigTable的开源实现 B. Hbase是分布式数据库，依赖zookeeper提供消息通讯机制 C. Hbase是面向行存储的，一次只能写入一个单元格的数据 D. Hbase依靠HDFS存储底层数据 十一、Hbase经常使用shell命令中，修改单元格内容的命令是（A） put B、alter C、get D、scan 十二、 ( B )是HBase基本的访问控制单元。 A、行 B、 列族 C、 单元格 D、列限定符 1三、HBase是分布式列式存储系统，记录按什么集中存放（A） A. 列族 B. 列 C. 行 D. 不肯定 1四、客户端首次查询HBase数据库时，首先须要从哪一个表开始查找（B） A. META. B. –ROOT- C. 用户表 D. 信息表 1五、HBase中最核心的模块是（D） A.客户端 B.Zookeeper服务器 C.Master服务器 D.Region服务器 1六、HBase中负责表和Region的管理工做的是（D） A.客户端 B.Zookeeper服务器 C.库函数 D、Master服务器