经过简单瘦身,解决Dataworks 10M文件限制问题

摘要: 用户在DataWorks上执行MapReduce做业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,致使没法使用调度去按期执行MapReduce做业。 解决方案: jar -resources test_mr.html

用户在DataWorks上执行MapReduce做业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,致使没法使用调度去按期执行MapReduce做业。spa

解决方案:htm

第一步:大于10M的resources经过MaxCompute CLI客户端上传,blog

客户端下载地址:https://help.aliyun.com/docum...图片

客户端配置AK、EndPoint:https://help.aliyun.com/docum...资源

add jar C:test_mrtest_mr.jar -f;//添加资源get

第二步:目前经过MaxCompute CLI上传的资源,在Dataworks左侧资源列表是找不到的,只能经过list resources查看确认资源;it

list resources;//查看资源class

第三步:瘦身Jar,由于Dataworks执行MR做业的时候,必定要本地执行,因此保留个main就能够;test

图片描述

经过上述方法,咱们能够在Dataworks上跑大于10M的MR做业。

相关文章
相关标签/搜索