openLooKeng V1.2.0 发布

自去年6月开源以来,openLooKeng社区获得愈来愈多朋友的支持。社区内,小伙伴们对openLooKeng的性能给予了确定和赞扬,同时也给出了许多有价值的建议。暖春3月,在众人的期待下,openLooKeng迎来了新版本V1.2.0。openLooKeng V1.2.0是在旧版本的基础上进行优化,并基于小伙伴们的体验和建议,新增一些技术,以提升引擎性能,争取为你们带来更丝滑流畅的体验。html

于引擎内核来讲,主要加强两个维度:融合分析场景和性能。git

» 查询容错加强,提升引擎执行的可靠性算法

在批查询处理运行的过程当中,当某个工做节点出现故障时,可在其余节点上恢复任务,好比对Hive数据源的 insert 和 create table as select 操做。针对长时间运行的批查询处理任务,相比上一个版本,稳定性和可靠性有了极大的提高。安全

» 查询性能的优化:基于 StarTree 的查询预聚合能力加强性能优化

StarTree旨在优化低延迟、聚合查询语句。咱们经过StarTree查询预聚合能力,为用户构建所须要的不一样维度和不一样聚合操做的 cube。在之后的查询过程当中,若是遇到任何可匹配的聚合子查询,引擎将直接从cube中读取数据,避免在原始表上执行查询,从而提升查询性能。并发

» 引入 CTE(公共表表达式)优化技术,减小内存使用框架

在执行计划优化过程当中引入CTE(公共表表达式)技术。当一个复杂查询中,存在某个子查询(例如 with语句)被屡次使用,优化器会为重复的子查询自动生成一个CTE节点,该CTE节点的输出会被执行计划流程中的多个父节点消费。也就是说,重复的子查询只会执行一次,化繁为简, 同时也减小内存占用,引擎得到更好的性能。函数

» 通用算子下推框架,让 Connectors 参与到执行计划优化中性能

为了让算子下推过程更加简单灵活,咱们采用新的通用算子下推框架,让每一个Connector能够参与到执行计划优化中。引擎在进行执行计划优化时,可以自行应用Connector的优化规则,使得算子下推过程变得更加高效。大数据

» 加强HIVE ORC的数据维护性能

该特性优化了数据写入和数据修改(更新和删除)的处理速度,并不影响『读性能』的流畅度;支持并发访问Hive Metastore,提升元数据操做性能,从而进一步优化数据写入和修改的性能。

于引擎门户来讲,主要集中在南向生态方面的优化。

» HBase Connector性能优化

针对单表查询性能的提高,咱们新增了分片算法。另外,该性能支持 HBase 访问 Snapshot 的模式,从而提高多并发查询性能。

» 数据源UDF(User-Defined Function)支持下推

引擎支持外部函数(UDF)的注册,也支持将其下推到JDBC数据源。为了让你们拥有更好的体验,用户能够在不迁移本身数据源UDF的状况下,使用已有的UDF, 提升UDF的复用度。

以上即是openLooKeng新版本V1.2.0 在性能优化上较为亮眼的地方。固然,做为大数据领域的关键项目,openLooKeng十分看重引擎的易用性和安全性针对这两点,新版本V1.2.0作出以下加强:

» 易用性 | 加强Admin Dashboard UI用户体验

优化定时全量加载致使的UI页面卡顿,

加强查询历史和查询结果的分页显示,

优化新增链接器的参数配置,

UI 界面支持Kerberos 和密码登陆,支持查询历史按用户进行过滤。

» 安全性 | 基于Ranger的细粒度权限管控:支持行过滤和列掩码

增长行过滤和列掩码,增长认证用户模拟权限控制,提供更细化的权限控制粒度。


看了这么多,是否是很想动手一试?感兴趣的朋友能够下载体验。

新版本下载地址: https://openlookeng.io/zh-cn/download.html

若是您对新版本V1.2.0有其余建议,欢迎发邮件至 users@openlookeng.io 告知咱们。openLooKeng社区感谢朋友们的支持,期待并欢迎更多朋友们的参与。

openLooKeng是一款开源的高性能数据虚拟化引擎,提供统一SQL接口,具有跨数据源/数据中心分析能力,为大数据用户提供极简的数据分析体验。欢迎加入openLooKeng社区,一块儿作点有意思的事儿,让大数据更简单!

openLooKeng开源社区官方网站: https://openlookeng.io/zh-cn/

openLooKeng代码仓地址: https://gitee.com/openlookeng

相关文章
相关标签/搜索