hadoop(6)——mrjob的使用(2)——交给hadoop集群

(1)开启hdfs和yarn服务 (2)查看写好的文件(同上一篇hadoop(5)) (3)执行命令 (4)任务完成 (5)查看output ps:中间遇到了很多坑,比如说在执行该命令向前,一定要先hadoop fs -rm -r /output,不然已经建立了该文件夹hadoop会报错 还有就是如果在虚拟环境下创建该任务,除了(3)的命令外,一定要加上– python-bin +/python解
相关文章
相关标签/搜索