项目owner看这里,MaxCompute全表扫描新功能,给你“失误”的机会

摘要: MaxCompute发布了“ALIAS 命令”,提供了在不修改代码的前提下,在MapReduce或自定义函数(UDF) 代码中,经过某个固定的资源名读取不一样资源(数据)的需求。html

随着社会数据收集手段的不断丰富及完善,愈来愈多的行业数据被积累下来。数据规模已经增加到了传统软件行业没法承载的海量数据,达到百GB、TB乃至PB级别。sql

在分析海量数据场景下,因为单台服务器的处理能力限制,数据分析者一般采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不只须要了解业务需求,同时还须要熟悉底层计算模型。服务器

MaxCompute的目的是为用户提供一种便捷的分析处理海量数据的能力,owner能够没必要关心分布式计算细节,即可达到分析大数据的目的,这样一是减轻项目负责人的工做负担,也同时下降了企业对海量数据处理的专业人才成本。分布式

在使用过程当中,咱们发现用户常常遇到这样的问题,若是一不当心写错了sql,对全表作了扫描,不只影响效率还会对成本形成损失,由于对全表数据扫描是费用比较高的。函数

如今,MaxCompute发布了“ALIAS 命令”,提供了在不修改代码的前提下,在MapReduce或自定义函数(UDF) 代码中,经过某个固定的资源名读取不一样资源(数据)的需求。大数据

其实通俗的来说就是容许项目owner对项目进行设置,能够经过容许或不容许来保障这个项目不被作全表扫描,能够节约成本,避免了初次使用MaxCompute的用户或者误操做而对全表作了扫描影响效率和成本发生。若是确实须要对全表扫描,能够把属性这里改成true,完成用户须要的全表扫描的操做。htm

具体操做以下:
以开关的形式,经过设置容许或禁止全表扫描。true为容许,false为禁止 项目级别控制:setproject odps.sql.allow.fullscan=false/true Session级别控制:set odps.sql.allow.fullscan=false/true资源

整体来讲该功能对于项目owner来讲,不只能够避免资源浪费、控制计算成本,还能灵活应开启全表扫描分区表。
具体操做详情请戳这里:
https://help.aliyun.com/document_detail/27834.htmlget

原文连接数据分析

相关文章
相关标签/搜索