hadoop集群配置的一些补充

        最近开始学习hadoop,准备先搭建一个hadoop集群跑起来,发现了不少不错的博文,可是在实际的操做中,总会遇到一些博文中未曾提到的问题,本章博文用于记载这些问题以及问题解决的方式。
java

  1. 在配置SSH免密码登录的时候,在master机上生成了key,将public key分别复制到slave1机和slave2中,都是用cat命令将public key加入到authorized_keys中,但slave1能够密码登录而slave2不行,以后slave2删除了.ssh,从文件夹建立到将key加入authorized_keys中重新来了一次,文件夹权限与slave1彻底一致(博主有仔细的对比过),但仍是不行。node

    解决方式:shell

         最终使用ssh-copy-id 命令解决了,完整命令以下:apache

ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 18330 root@192.168.1.253:~/.ssh"
  1.     
  2. 以上命令,能够自动将公钥添加到名为authorized_keys的文件中。为何以前用cat命令不行,至今都没明白缘由,有懂的大神请指教

2.  hadoop启动的使用,dataNode和taskTracker老是不能启动,到日志中查看出现下面的错误:ssh

org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to master/192.168.56.101:9000 failed on local exception: java.net.NoRouteToHostException: No route to host

    解决方式:
oop

            关闭master的防火墙,或者修改防火墙配置开始使用的端口
学习

相关文章
相关标签/搜索