关于hbase和phoenix开源框架的使用体会

咱们的系统天天会产生60万条的数据须要存储，那么问题就来了，咱们须要什么样的方式去存储这些数据。

      一开始的选择是mysql存储，创建日库，周库，月库等，可是时间久了数据愈来愈多，没有对数据进行统一的管理，表格对来越多，工做量愈来愈大。

      采用apache的大数据存储仓库hbase能够解决数据量比较大的问题。依照目前hbase存储能力来看，咱们在hbase中存储了1000万的数据，hbase以键值对的查询速度并无降低多少，相对来讲速度仍是比较快，可是有一个比较关键的问题须要解决，那就是hbase只是能作为数据存储的仓库，业务上须要用到这些数据进行分类展现，那么就须要根据条件从hbase中查询出所须要的数据，究竟怎么才能作到按照条件查询呢？

      有人认为hbase能够创建索引，根据索引去查询hbase中的数据，咱们并无采用这种办法。而是采用了能和hbase融合的phoenix开源框架，这个框架支持相似mysql的结构化查询语句，具体怎么作就不说了，能够去查看http://phoenix.apache.org/ ，这里我把使用的结果罗列出来。

     结果：

      phoenix能够支持各类结构化查询语句，而且咱们的仓库已经存储了1000万的数据，可是其中有一个让人比较头疼的问题，在数据量达到千万级别的时候，结构化查询语句执行的速度比较慢，若是我根据条件查询一条数据须要近2分钟的时间，这对前端业务系统的性能产生了严重的影响，具体怎么解决后续再谈。