Hadoop平台-错误收集附解决方案!

  最近实验室又要搞大数据的项目了,因此咱们搭了个hadoop平台,顺便用来熟悉一下能够并行化处理数据的算法包——mahout。java

  hadoop安装和测试以及使用,这些网上的教程层出不穷,建议买些书过来读一读,受益良多,进步也快。初学者的话,推荐看《Hadoop权威指南》,此外有条件的能够先去图书馆试着读一读,若是感受能够的话,能够买一本~mahout的话,初学者推荐看《Mahout实践指南》,感受对作工程的人,挺好的,算法部分讲得不是很详细,也不是很深,但对于如何应用这些算法包,这本书讲得很细致入微。算法

  下面开始记录咱们hadoop平台会遇到的一些常见异常或者错误。PS.持续更新中...dom

  咱们都知道,当hadoop除了什么错误,或者异常的话,咱们最好去看日志,就是$HADOOP_HOME/logs/xxxx.log下面看看是哪里除了问题,下面就是咱们截取的一些出问题的日志,并附上咱们的解决方法:oop

  1. java.net.UnknownHostException: localhost.localdomain: localhost.localdomain测试

  咱们看这个异常提示说是,UnknownHostException,也就是说,是咱们的系统配置里面的hostname除了问题,因为刚开始搭建hadoop的时候,咱们默认的设置为localhost,而没有那个后缀.localdomain,因此咱们须要改下系统的hostname,把localhost.localdomain 改成localhost就能够了。大数据

  解决方法:命令行输入 vi /etc/sysconfig/network 把 hostname 改为localhost(若是你的hadoop本身配置过主机名,请使用你本身配置的那个主机名),.net

  而后命令行输入 vi /ect/hosts 设置127.0.0.1 localhost localhost.localdomain 改成 127.0.0.1 localhost命令行

     最后命令行输入 hostname localhost就能够解决日志

   其实更改主机名的方法有不少,这里只是列举了其中的一种,越是底层的方法,越是有效。教程

  2.job 一直在处于 running中,中止了响应

  这个问题依然是 hostname的问题,咱们打开另外一个终端,输入hostname 你的主机名 就能够改正过来了

相关文章
相关标签/搜索