MaxCompute Studio使用心得系列7—做业对比

在数据开发过程当中，咱们一般须要将两个做业进行对比从而定位做业运行性能或者结果有差别的问题，可是对比做业时须要同时打开两个studio 的tab页，或者两个Logview页，不停切换进行对比，使用起来很是的不方便。MaxCompute Studio从3.1.0版本开始支持做业对比，能够在一个页面同时比较两个做业，而且能自动标注出做业的差别点。

本文我以查找同个做业执行两次用时差异很大的缘由为例，经过MaxCompute Studio的对比功能对两次执行的job进行对比，找出执行时间差异大的缘由。

做业对比入口

MaxCompute Studio的Maxcompute 工具菜单中进入做业对比。

输入两个须要对比的job的logview url 地址，点击“OK”按钮就能够开始对比：

对比基本信息

做业一运行了01:11:08 ，做业二运行了00:45:59，想知道是什么致使了相差近半个小时。先看基本信息对比：

经过基本信息能够看到studio 标注出做业一的耗时明显上升，其余项目，如IO Bytes 等相差很少， 输入输出表彻底相同。基本能够判定是同一做业，为了确保是同一个做业还能够对比执行计划和脚本。

对比执行图

打开执行图 Tab ，能够一目了然看到两个做业的执行计划，执行图没法进行标注，能够经过查看text diff查看。

点击text diff 后能够对比fuxi task 的执行时间， 输入输出等详细信息。能够比较绝对值，能够按比例比较，不一致的地方都会进行有效标注。

这里能够发现执行计划是彻底一致的。

对比脚本

点击脚本对比Tab 后，能够对比settings 和script ，settings 很是关键，不一样的参数可能会致使彻底不一样的结果。这里须要使用text diff 功能比较sql 脚本。

能够看到脚本对比功能很方便使用，即使是很复杂的sql 脚本均可以快速发现区别，这里发现只有分区日期不一样，其余彻底一致。

进一步分析执行计划

经过前面几个对比，肯定两个做业彻底一致， 再回到执行图中， 经过回放能够发现运行瓶颈在J4， 查看text diff 发现做业一的J4 用时52分， 做业二28分，由此判断做业一主要是J4用时长致使总体运行变慢。

接下来重点分析J4 ，打开J4的 Operation Graph， Studio 在Operation 层新添加了Metric 信息， 能够看到每一个operation 的执行时间，inner_time_ms, 这个时间指Operation 执行完全部行的平均时间（每一个fuxi instance 都会用这个operation执行， 当这个operation 处理完全部分配给他的数据后就得出一个时间，这里的inner_time_ms 指的是这些fuxi instance 对应的Operation 执行的平均时间） ，经过这个时间能够发现某个Operation 执行时间是否过长，例如自定义udf 是否有性能问题。

对比J4 的实际运行时间相差很少，而且执行的都比较快，由此能够考虑J4 是否存在等待资源状况， 致使fuxi instance 并无及时开始运行。

对比分析Tab

打开做业分析tab的时序图子页面，能够明显发现做业一的J4_2_3 task 运行时间大于做业二的， 与前面看到的执行计划图一致。

鼠标放到J4上点击展开做业后，能够看出fuxi instance 开始执行时间很是晚，这进一步验证了资源不足致使做业等待状况。

小结

经过Studio 的做业对比功能，调查了资源等待致使的做业运行变慢状况， 而且排查的效率更高。做业对比还有不少其余功能，各位能够自行尝试。

原文连接 本文为云栖社区原创内容，未经容许不得转载。