大数据之MR Job案例

1 创建运行MapReduce作业的文件目录 2 将input文件发送到到分布式文件系统中并检查是否成功 3 测试案例 在生产上，map和reduce是分步运行的，map运行到50%时reduce开始运行，对于小的数据文件，map运行到100%reduce才开始运行。 在资源不够的情况下会报错，会尝试提交其他资源，重新上传资源，其每次输出的文件夹都不一样，因为系统不会覆盖原来的输出文件，这时候会给

>>阅读原文<<