hadoop错误INFO ipc.Client Retrying connect to server

问题

• 今天在测试环境上跑任务的时候遇到了这个问题,找遍了网上的文章,都是让改配置文件的,好比这一个 Retrying connect to server ,可是在测试环境上我没有权限改配置文件,因此也就没有测试

解决方案

• 以前的运行语句和jar包都是能够正常跑出结果的,此次也是在以前的jar包基础上作了一些修改,为何就不能跑了呢?
• 以后用控制变量法测试了不少参数,发现以前的跑的数据比此次小,以前5.4T,此次16T,因而将此次的数据分批次跑,减小一次跑的数据量,成功运行

总结

• 出现这个错误的缘由是数据量太大,致使hadoop出现链接错误
• 改配置文件的方法没有试过,由于没有权限
• 个人解决方案是写了个脚本分批次跑数据,减小一次跑的数据量