Doris 0.14.7 版本发布

做为 Apache Doris 社区的主要维护团队,百度Doris团队也同时维护了基于 Apache Doris 官方 Release 版本的 3 位迭代版本(tags) 。包括快速的 Bug 修复和新功能更新node

这些 3 位迭代版本都在百度内部进行过测试和上线,推荐使用。git

如下内容基于0.13.15版本迭代。该版本可从0.13.15版本或0.14.0版本平滑升级。github

功能算法

LDAP认证数据库

支持LDAP验证登录和LDAP组受权。apache

备份恢复支持ODBC外部表和逻辑视图网络

备份恢复功能支持ODBC外部表以及逻辑视图。同时,备份恢复功能支持经过EXCLUDE语法排除部分不须要备份或恢复的表。并发

Unique Key数据模型上的UPDATE语句性能

在Unique Key数据模型上能够执行UPDATE语句,如:测试

UPDATE tbl SET v1 = 2 where k1 = "abc";

多字节分隔符

在导入文本格式数据时,支持使用多字节分隔符做为列分割或行分隔符。能够有效解决数据中包含分隔符的状况。

导入前置过滤

Broker Load 和 Routine Load 导入命令支持前置过滤条件。前置过滤功能容许用户在进行列映射和列变换以前,对原始数据先进行一次过滤。该功能可用于从同一数据源中过滤出须要的数据导入到不一样目的表中。

Export支持过滤条件

Export能够指定WHERE条件对导出的数据进行选择性过滤。同时Export也支持了指定多字节行列分隔符,以及导出数据到本地的功能。

图形化展现查询计划、Profile

能够在命令行经过图形化的树形结构展现查询计划和Query Profile。能够更直观的分析查询的性能瓶颈。

内置存储系统监控指标

部分核心监控指标(Metric)将由FE收集并存储。在用户没有部署监控系统的状况下,也能经过命令行,图形化的显示部分核心监控指标,方便定位系统问题。

其余功能更新

  • Tablet 节点内盘间迁移:支持经过HTTP接口指定Tablet进行同一节点的磁盘间数据迁移。

  • 指定导入并发度:支持经过参数指定Broker Load 的导入并发度,充分利用系统资源提高导入速度。

  • DELETE命令支持指定多个分区:支持在一个DELETE命令中指定多个分区执行删除操做。

  • 支持对Unique Key模型表的非主键列创建二级索引。

  • ODBC外部表支持 SQL Server。

  • Stream Load 支持导入压缩格式数据。

  • 支持 MySQL Client 8.0 的链接。

  • 支持SELECT...OUTFILE命令执行成功后,写入一个标记文件,以方便下游业务感知。

  • 提供一个Python脚本用于分割本地文件:该脚本支持指定行列分隔符对本地文件分割,以方便经过Stream Load并行的导入本地大文件。

要Bug修复

BE内存占用太高致使OOM的问题

修复一个在数据写入时可能致使内存膨胀的问题,解决BE常常OOM的现象。

过滤数据文件未删除致使磁盘空间占用太高的问题

修复某些状况下BE上的数据文件未被正确删除,致使长时间占用磁盘空间的问题。

Routine Load报错Too Many Tasks并卡死的问题

修复BE上Routine Load工做线程在某些状况下因未正确退出,致使工做线程耗尽,做业报错Too Many Tasks的问题。

能优化

支持更多条件下推到存储引擎进行过滤

支持更多条件下推到存储引擎,包括DELETE条件、IN等等,提高查询性能。

元数据表级锁粒度

FE中的元数据锁粒度从Database级别下降到Table级别。有效解决了元数据频繁更新场景下(如大量导入操做时),同一数据库中不一样表之间元数据并发写致使的性能问题。

优化Zonemap索引的生成策略

Zonemap索引的生成策略会根据Data Page中的数据条目数量动态调整。在某些大字符串列上再也不生成Zonemap索引,能够显著下降磁盘空间占用。

Exchange Node支持并发的归并排序

支持选择性的经过两级并发归并排序算法提高Exchange Node上的数据排序效率。能够经过会话变量 enable_exchange_node_parallel_merge 开启。

Local Exchange Node

当Exchange Node的源端和目的端在同一BE节点上时,将再也不经过序列化反序列化的方式经过网络传输数据,减小CPU开销。

SET_VAR 语法支持指定多个会话变量

SET_VAR语法支持指定多个会话变量,以更方便的控制一个SQL语句的行为参数。

欢迎扫码关注:

Apache Doris(incubating)官方公众号

 

相关连接:

Apache Doris官方网站:

http://doris.incubator.apache.org

百度 Doris 官方网站:

http://doris.baidu.com/

百度 Doris Github:

https://github.com/baidu-doris/incubator-doris

Apache Doris 开发者邮件组

dev@doris.apache.org

相关文章
相关标签/搜索