今天,Cloudera正式宣布在CDH中支持Apache Phoenix,同时也会集成到将来的Cloudera Data Platform中。javascript
Cloudera的CDH发行版其实一直包含Apache HBase服务,它为但愿利用大数据功能的客户的操做型应用程序提供了一个灵活的NoSQL数据库。这些应用程序已经发展成为重要且核心的应用程序,能够推进收入和利润的增加。这些应用程序包括面向客户的应用程序,电子商务平台,银行的风控和反欺诈,或为应用程序提供AI/ML模型,以及根据实际结果进一步增强训练。html
可是,对于许多客户来讲,使用HBase其实很抗拒,由于:java
1.HBase的数据模型是一张大宽表,支持上百万个column,但却不支持join数据库
2.使用Java APIs而不是ANSI SQLapache
他们要求可以使用相似于Oracle或MySQL提供的更传统的schema设计,而且愿意在灵活性方面作出一些权衡,例如:安全
1.他们愿意使用提供的数据类型,而不是定义本身的数据类型微信
2.他们愿意放弃灵活性,让单个column具备多种类型,具体取决于行,以换取单行中的单个类型并发
为了使客户轻松拥有Apache HBase的其它优点(无限扩展,数百万行,模式演变等),同时提供相似RDBMS的功能(ANSI SQL,简单join,开箱即用的数据类型等),咱们在CDH上引入了对Apache Phoenix的支持。ide
若是优化HBase,基于Phoenix的应用程序一样也会受益,从而得到更好的性能。例如Phoenix实现了主键的加盐 - 所以HBase用户不用考虑Rowkey的设计。高并发
此外,基于Phoenix的应用程序能够与HBase应用程序共存 - 这意味着您可使用单个HBase集群来支持这二者。使用Phoenix,客户能够继续使用他们喜欢的BI和仪表盘工具,就像之前使用Hive和Impala同样。
在CDH中从安全和治理角度,Phoenix使用HBase ACLs来实现Phoenix表的基于角色访问控制。同时Cloudera Navigatior也会捕获Phoenix的审计信息。
如今,Cloudera发布的主要是基于CDH5.16.2的Phoenix4.14.1 Parcel包,不久以后咱们将会发布CDH6.2的Phoenix5.0的Parcel包,由于C6中的HBase已是2.x,因此会不同。
已有的HDP客户其实一直能够享有Apache Phoenix的技术支持,使用HDP的HBase的用户几乎有一半正在使用Phoenix,同时Phoenix在HBase的用户社区也很受欢迎。
使用Apache Phoenix构建核心应用程序,请点击如下连接下载Phoenix:
https://www.cloudera.com/downloads/phoenix.html
Q)Phoenix适用于什么样的工做负载
Phoenix支持与HBase相同的用例场景,主要是低延迟,高并发的工做负载。可是,Phoenix还能够更轻松地利用底层数据进行仪表板和BI应用。
Q) Phoenix的受权机制是什么?
Phoenix依赖于HBase的受权机制,对于CDH客户,可使用HBase ACL。对于HDP客户,可使用Ranger。
Q) Phoenix的可扩展性怎样?已知的最大的集群是哪一个?
Phoenix能够扩展到数百TB的数据。最大的客户拥有超过0.5 PB的数据,由Phoenix管理。该用例的详细信息能够在PhoenixCon archives找到:
https://phoenix.apache.org/phoenixcon-archives.html
也能够在今年早些时候用户本身的视频中 NoSQL day videos查看:
https://www.youtube.com/playlist?list=PLSAiKuajRe2l6If7Az2PHIDG8vsJly9CH
Q) Phoenix是否支持地理空间二级索引?支持什么级别的空间数据?
它对地理空间(geo-spatial)数据的支持有限。GeoMesa在HBase上提供了一个geospatial层,能够支持这种需求并与客户应用程序集成。Phoenix,GeoMesa以及JanusGraph和OpenTSDB均可以共存于一个HBase集群中。
Q) 如何建立和使用索引?
有关索引的详细信息,请参阅Phoenix Secondary Indexing页面。
https://phoenix.apache.org/secondary_indexing.html
从Phoenix 4.8.0开始,使用本地索引不须要进行任何配置。
Q) 作索引的column数量有限制吗?
与RDBMS同样,HBase的二级索引其实就是使用另外一张索引表来实现的,这张表包含索引和源数据的连接。若是你对全部column都进行索引,你的维护成本会大大上升。对于索引的选择你还同时须要考虑读多写少能够考虑Global indexes(全局索引),若是写多读少,则能够考虑Local indexes(本地索引)。
本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。