用maven的ant run插件自动部署MR job依赖的jar到HDFS

背景 远程提交MR job时将MR job依赖的所有jar都发布到HDFS中,同时将这些jar加到hadoop job的classpath上。 如果每次手动上传就太费劲。项目集成maven。所以打算在maven package时将所有jar通过脚本上传到远程HDFS上       编写ant脚本 使用了,haddop的ant 插件。说白了就是一些util方法,调用了fsshell。没有文档,写的时
相关文章
相关标签/搜索