hadoop学习笔记

1.集群搭建时，配置master无密码登录slave时，须要注意几个目录的权限。

http://www.linuxidc.com/Linux/2012-07/65253.htm

2.hadoop集群启动遇到的相关问题

(1)一直报错property标签缺乏/，修改三个配置文件后也没用，此时须要重启节点

(2)使用start-all.sh启动整个集群之后，DataNode节点的DataNode和TaskTracker进程过几秒钟之后就关闭，节点死亡。
日志中报java.net.NoRouteToHostException.这是因为防火墙的缘由，须要关闭NameNode的防火墙。
见：http://www.linuxidc.com/Linux/2012-05/59747p2.htm

关闭防火墙第一种方式：service iptables stop　　当即生效，重启后失效

关闭防火墙第二种方式：cfkconfig iptables off　　重启后永久生效(很明显咱们应该选第二种)

(3)NameNode启动失败，日志报错：java.io.FileNotFoundException:/home/node1/name/current/VERSION(Permission
denied),这是current权限不对，通常是因为中途切换到root尝试启动，致使root更改了此文件夹。用chmod修改回来便可
。见：http://hi.baidu.com/kqogje/item/417f8eab8496fb258819d371
(4)使用start-all.sh命令时，提示 HADOOP_HOME is deprecated.
解决办法：在/etc/profile中设置Hadoop环境变量时，不要用HADOOP_HOME，改用HADOOP_INSTALL
为了使node1用户能在任意目录下运行start-all.sh等，须要在/etc/sudoers中添加 node1 ALL(ALL) ALL,同时要
添加HADOOP环境变量
(5)若是DataNode没法启动并且报错namespaceID不一致，则是由于频繁的格式化NameNode致使的。
NameNode的/home/node1/name/current/VERSION中的namespaceID必须与
DataNode的/home/node1/data/current/VERSION中的namespaceID一致。
解决办法：删掉namenode的name与tmp目录，删掉datanode的data和另外一个目录。从新格式化namenode
(6)为了在hadoop的web端能正常访问全部的页面，datanode也要关闭防火墙，
用root账户执行命令：service iptables stop