HBASE之shell操做和Java访问

对数据库HBASE的操做有shell端和java API两种方式。

在此以前要先说一下HBASE的结构及其数据存储结构：

HBASE是基于HDFS的，是一种NoSQL的数据库。它的数据模型以下所示：

 

Row Key	Timestamp	Column Family
		URI	Parser
r1	t3	url=http://www.taobao.com	title=每天特价
	t2	host=taobao.com
	t1
r2	t5	url=http://www.alibaba.com	content=天天…
	t4	host=alibaba.com

RowKey：行键，也是表的主键。表中的记录是按照Row Key排序。

Timestamp：时间戳，每次数据操做对应的时间戳，能够看做数据的version number。

ColumnFamily：列簇，Table在水平方向有一个或者多个Column Family组成，一个Column Family中能够由任意多个Column组成，即Column Family支持动态扩展，无需预先定义Column的数量以及类型，全部Column均以二进制格式存储，用户须要自行进行类型转换。

 

• shell操做

shell中输入 hbase shell进入hbase操做，假设这样的person表：

rowid,username,userid,birth,phone,sex

建立该表须要使用：

1. create 'person','username','userid','birth','phone','sex'

第一个是表名，后面都是属性，rowkey列不须要本身建立和设定列名。

ps，hbase shell 中，都没有分号作结尾。并且表名列名基本都加引号，这和SQL不同。

加入单个数据，咱们使用put命令。注意put命令的操做，只能一行一列的单个值去添加，不能一次加一行：

1. put 'person','1','username','Aran'

表示person表中行号（row key）为1列名为username的值为Aran。

若是清空表，须要：

1. truncate 'person'

若是删除表，须要：

1. disable 'person'
2. drop 'person'

Hbase中的查询分为两种：以rowkey方式的行查询，和以值为基础遍历.

rowkey方式：

1. get 'person','1'

值查询：

1. scan 'person',FILTER=>"ValueFilter(=,'binary:1992-2-12')"

 

Hbase支持cvs格式批量导入：

相似这样格式的文件      1,User1,8237764069450,2001-8-19,682318616,1

能够在shell中（不是hbase shell中）导入：

1. hbase org.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.separator=","-Dimporttsv.columns=HBASE_ROW_KEY,username,userid,birth,phone,sex person hdfs://192.168.70.28:9000/dataImport/HbaseTable-1.cvs

分割符为,而且，导入不用写rowkey，默认第一个就是rowkey。

就介绍这么多。详细的请参考：

http://www.jb51.net/article/31172.htm

http://blog.csdn.net/pirateleo/article/details/7956965

http://www.cnblogs.com/linjiqin/archive/2013/03/08/2949339.html

 

• JAVA API

对于开发者而言，经过shell去操做数据仍是不多见。咱们能够使用JAVA API。

新建Java项目，添加的包有Hadoop下的Hadoop-core和Hbase/lib/下的全部jar。

只写了查询相关的Func，直接上代码：

1. import java.io.IOException;
2. import java.util.Iterator;
4. import org.apache.hadoop.conf.Configuration;
5. import org.apache.hadoop.hbase.HBaseConfiguration;
6. import org.apache.hadoop.hbase.HConstants;
7. import org.apache.hadoop.hbase.KeyValue;
8. import org.apache.hadoop.hbase.client.Get;
9. import org.apache.hadoop.hbase.client.HTable;
10. import org.apache.hadoop.hbase.client.HTablePool;
11. import org.apache.hadoop.hbase.client.Result;
12. import org.apache.hadoop.hbase.client.ResultScanner;
13. import org.apache.hadoop.hbase.client.Scan;
14. import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
15. import org.apache.hadoop.hbase.filter.Filter;
16. import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
18. publicclassHbaseAPI{
19. privatestaticConfiguration conf =null;
20. static{
21. conf =HBaseConfiguration.create();
22. conf.set("hbase.zookeeper.property.clientPort","2181");
23. conf.set("hbase.zookeeper.quorum","192.168.70.29");
24. conf.set("hbase.master","192.168.70.28:60000");
25. //timeout time
26. conf.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY,1200000);  
27. }
29. //query by rowkey
30. publicstaticvoidQueryByrowKey(String tableName,String rowKey){
31. try{
33. HTable table =newHTable(conf,tableName);
34. Get g =newGet(rowKey.getBytes());
35. long start =System.currentTimeMillis();
36. Result r = table.get(g);
37. /*System.out.println("column：rowkey"  
38.                         + "====value:" + new String(r.getRow()));
39. for (KeyValue keyValue : r.raw()) {  
40.                 System.out.println("column：" + new String(keyValue.getFamily())  
41.                         + "====value:" + new String(keyValue.getValue()));  
42.             }*/
43. long end =  System.currentTimeMillis();
44. System.out.println(end-start);
45. }catch(IOException e){
46. // TODO Auto-generated catch block
47. e.printStackTrace();
48. }
51. }
53. //query by condition
54. publicstaticvoidQueryByCondition(String tableName,String columnName,String columnValue){
55. try{
57. HTable table =newHTable(conf,tableName);
58. Filter filter =newSingleColumnValueFilter(columnName.getBytes(),null,CompareOp.EQUAL,columnValue.getBytes());
59. Scan s =newScan();
60. s.setFilter(filter);
61. long start =System.currentTimeMillis();
62. ResultScanner rs = table.getScanner(s);
64. int hang =0;
65. for(Result r : rs){
66. /*System.out.println(new String(r.getRow()));
67. System.out.println("column：rowkey"  
68.                         + "====value:" + new String(r.getRow()));
69. for (KeyValue keyValue : r.raw()) {  
70.                System.out.println("column：" + new String(keyValue.getFamily())  
71.                        + "====value:" + new String(keyValue.getValue()));  
72.            }*/
73. hang++;
74. }
75. long end =System.currentTimeMillis();
76. System.out.println("rownum:"+hang);
77. System.out.println(end-start);
78. }catch(IOException e){
79. // TODO Auto-generated catch block
80. e.printStackTrace();
81. }
83. }
85. publicstaticvoid main(String[] args){
86. //HbaseAPI.QueryByrowKey("person1000", "12307999");
87. //HbaseAPI.QueryByCondition("person1000", "username", "User2312397");
88. HbaseAPI.QueryByCondition("person1000","sex","0");
89. }
90. }

特别说下conf.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY, 1200000)表示的是每次访问最大时长，超过这个时长自动终止。

 

上文中的QueryByCondition并不许确，SingleColumnValueFilter的四个参数分别是列簇名、列名、过滤条件，过滤值。因为上文中的Hbase表每一个列都是列簇，因此没有问题，现提供同时有列簇和列的查询：

1. publicstaticvoidQueryByCondition(String tableName,String familyName,String columnName,String columnValue){
2. try{
4. HTable table =newHTable(conf,tableName);
5. Filter filter =newSingleColumnValueFilter(familyName.getBytes(),columnName.getBytes(),CompareOp.EQUAL,columnValue.getBytes());
6. Scan s =newScan();
7. s.setCaching(1000);
8. s.setFilter(filter);
9. long start =System.currentTimeMillis();
10. ResultScanner rs = table.getScanner(s);
12. int hang =0;
13. for(Result r : rs){
14. System.out.println(newString(r.getRow()));
15. System.out.println("column：rowkey"  
16.                         +"====value:"+newString(r.getRow()));
17. for(KeyValue keyValue : r.raw()){  
18.                System.out.println("column："+newString(keyValue.getFamily())+":"+newString(keyValue.getQualifier())
19.                        +"====value:"+newString(keyValue.getValue()));  
20.            }
21. hang++;
22. }
23. long end =System.currentTimeMillis();
24. System.out.println("rownum:"+hang);
25. System.out.println(end-start);
26. }catch(IOException e){
27. // TODO Auto-generated catch block
28. e.printStackTrace();
29. }
31. }

代码中有一个s.setCaching()，这涉及到了Hbase 的Scanner Caching功能：

base.client.scanner.caching配置项能够设置HBase scanner一次从服务端抓取的数据条数，默认状况下一次一条。经过将其设置成一个合理的值，能够减小scan过程当中next()的时间开销，代价是scanner须要经过客户端的内存来维持这些被cache的行记录。

有三个地方能够进行配置：1）在HBase的conf配置文件中进行配置；2）经过调用HTable.setScannerCaching(int scannerCaching)进行配置；3）经过调用Scan.setCaching(int caching)进行配置。三者的优先级愈来愈高。

 

参考文件：

http://javacrazyer.iteye.com/blog/1186881

 

来自为知笔记(Wiz)