hbase干货

区别

作nosql有不少,hive与hbase,两者都是基于hadoop的,不一样是,hive基于类sql引擎的,因此能够用HSQL语句来 用来统计查询,返回数据比较慢,默认是便利表中全部的数据。
hbase呢是key/value的数据库,用来实时查询是比较擅长的,facebook的消息实时分析用此,sql

名词:MapReduce
由master分配任务给worker执行,map函数读取被分配的输入数据片断,输出中间key/value pair值的集合,reduce函数手机具备相中中间key值的value值,合并这些value值,造成一个较小的value值的集合
把一些数据经过map来归类,经过reducer来把同一类的数据进行处理数据库

hbase干货

hbase理解的应该有如下几个模块服务器

简单理解hbase更新数据,首先写到hlog日志,而后同时经过hregionserver 到region,再经过store模块的memstore存储,若是达到设置的值则执行store file,flush到hfile中,这样这几个模块都用上了框架

master或者hmaster 是Master Server的实现,负责监控集群中的RegionServer实例,同时是全部metadata改变的接口,在集群中,一般运行在NameNode上面
hregionserver 是RegionServer的实现,服务和管理Regions,集群中RegionServer运行在DataNode
region 表明table,Region有多个Store(列簇),Store有一个Memstore和多个StoreFiles(HFiles),StoreFiles的底层是Block
链接 https://blog.csdn.net/maketubu7/article/details/80612930
https://blog.csdn.net/huangliuyu00/article/details/79704371
Hlog
memstore
store file nosql

Hlog如何保证hbase一致性的
HBase的可靠性是经过HLog实现的,HLog机制是WAL(Write-Ahead Logging)的一种实现,预写日志。WAL是事务机制中常见的一致性实现方式。每一个Region Server中都会有一个HLog实现,Region Server更新操做时,先把记录到写到WAL(也就是HLog)中,再写入到Store的MemStore,最终MemStore会将数据写入到持久化的HFile中,当MemStore到达配置的内存阀值时。经过先写WAL(HLog),再写MemStore,这样的方式保证写的可靠性。
若是没有WAL,当Region Server宕掉的时候,MemStore还没写入到HFile,或者StoreFile还没保存,那么数据就会丢失。而HFile的数据由HDFS保证的,默认HDFS中会有3份。ide

若是服务器崩溃,region server会回访Hlog,经过数据回写,来恢复服务器的内存数据。下图显示了写入过程,也是一个Hbase的框架图
————————————————
hbase干货函数

另外cell,column family ,columns ,table,row,定义是什么oop

这个链接很清楚https://blog.csdn.net/huangliuyu00/article/details/79704371
https://juejin.im/post/5c8b7d585188257e937de505#heading-24
http://www.javashuo.com/article/p-zwpwiqek-mg.htmlpost

相关文章
相关标签/搜索