MaxCompute Studio 使用入门

MaxCompute Studio 是MaxCompute 平台提供的安装在开发者客户端的大数据集成开发环境工具，是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件，能够帮助您方便地进行数据开发。下面咱们一块儿来看一看Studio的简单用法。

用户登陆

Studio提供用户登陆功能。常规登陆入口在Intellij toolbar中右上角的Sign In。登陆完成后可直接使用答疑机器人、添加D2项目、同步D2等功能。

答疑机器人

点击右侧“FAQ Robot”按钮，进入答疑机器人页面，以下图所示。答疑机器人支持自助答疑和人工答疑两种方式，支持图片和文件上传，若是对自助答疑的结果不满意，能够在聊天框发送“人工”呼叫ODPS值班同窗。或者直接发送图片或文件唤起人工服务。

资源管理

Studio 的一大核心功能就是浏览 MaxCompute 项目空间（Project）的资源，包括 Table、UDF、Resource 等。为了可以在 Studio 中访问它们，以及其它不少功能，咱们首先须要在新建项目链接。在Project Explorer中点击"+"添加链接，目前Studio支持同步D2项目和经过accessId/Key添加项目链接。

创建项目空间链接后，能够浏览Table&View、Function、Resource等项目资源，双击对应的元素能够在Intellij中查看资源详情。

Table

双击打开某个table，以下图所示。有两个tab页面，“表信息”页面以下如所示，该页面展现table的基本信息、schema信息，提供数据预览功能。

选择对应的分区，设置预览行数，点击“预览”按钮能够进行数据预览。同时，右键点击表头支持数据导入/导出功能。

“分区信息”页面以下所示，显示分区的详细信息，提供分区的查询、刷新功能。同时提供导出分区信息、分区数据导入导出等功能。

在project explorer中右键点击某张表，能够看到建表、改表、数据操做等一系列比较实用的功能。

在Studio中不光能够经过写SQL进行DDL相关的操做，也能够经过可视化界面建立和修改table：Project Explorer中右键点击项目名称或者“Table & Views”选择“Create a new table”进行建表操做。

右键点击某个table选择“open table editor”能够对表信息进行相应修改，以下图所示，Studio能够将用户操做转化为对应的SQL语句。

Functions

 Functions分为BuiltIn Function和UserDefied Function, 双击对应的function能够展开详情：

 能够经过以下途径添加Function:

Resources

双击对应的resource，能够在editor中打开文件。对于UDF文件数大于5的状况，只打开前5个class。

能够经过以下途径添加resource：

SQL编辑器与做业提交

如何帮助用户高效愉快的编写SQL是MaxCompute studio的核心使命，下面就让咱们来一块儿看一下SQL编辑器的使用。首先须要建立一个MaxCompute Script Module，以下图所示：

Module建立完成后，新建SQL脚本文件以下图所示。

最后双击SQL文件就能够进行咱们的脚本开发了，这里能够本身设置模式(单句模式|脚本模式)、系统类型（旧有系统类型|MaxCompute系统|Hive系统）、编译器类型（默认编译器|实验性编译器）等。右上角须要选择对应的project。

下图所示三个按钮分别表示将SQL同步到D2，在Cosonle中打开ODPS CMD，打开SQL History。

SQL编辑完成后，点击下方的graph tab按钮，能够显示该SQL的执行计划，双击Task节点会展开对应的Operator级别的信息。

点击绿色的提交按钮，Studio会先编译脚本，编译经过后提交Server后显示运行信息并打开Job分析页面，以下图所示：

做业详情

上面咱们说到了如何编辑SQL和提交做业，接下来一块儿看看如何查看做业详情。做业详情页能够经过多条路径打开，好比上面说到的提交做业，会自动打开做业详情页。其次经过Job Explorer也能够打开做业详情页，再有就是若是已经知道logview，能够经过logview打开做业详情页，以下图所示：

做业详情页面分为两部分，左侧是做业的一些基本信息，右侧包含多个tab页，包含graph信息、时序图、详情、脚本、摘要、结果、分析等内容。下面对graph图、时序图、详情页和做业分析进行进一步介绍。

graph页面

graph页面展现做业的Job|Task|Operator三层结构。点击左上角的导航可切换不一样level的视图，双击Job节点进入Task视图，双击Task节点进入Operator视图。

graph页面用户能够经过鼠标滚轮或者左侧缩放按钮对图像进行缩放，同时提供鹰眼和拖拽等功能。点击task节点显示task级别信息，点击task之间连线显示schema信息。

 

在task level视图中右键点击节点，选择"expand all"展开全部的operator。

同时，单击table节点会显示table的基本信息和分区信息，双击table节点会跳转到对应的table详情页。

时序图

时序图画的是全部Fuxi Instance的甘特图，经过时序图能够对做业的运行时间等进行详细的分析，左侧的Filter能够对instances进行过滤，鼠标悬停到对应的instance上会显示对应的信息，双击则会跳转到"详情”tab页并选中对应的instance，对用户分析十分方便。同时时序图支持缩放功能。

详情页

详情页展现的是Task级别和Instance级别的详细信息。

做业分析页面

做业分析页面提供做业分析的结论，好比长尾节点、数据倾斜等。并提供散点图、长尾图和数据倾斜图供用户分析。

做业队列

Maxcompute 做业从提交到开始执行以前，须要经历不少状态，如：执行编译、优化、排队等待资源等。做业队列提供了查看当前详细状态的功能。对于正在排队等待调度的做业，可也从队列窗口中查看排队位置和前序做业等信息。点击"Job Explorer"打开做业队列页面，该页面提供了项目名称、状态、日期等Filter，选择对应的条件后会获得对应的做业队列，双击某一个做业会打开对应的做业详情页面。

原文连接