hadoop 部署安装

使用版本为2.7.2

1 安装配置

java ssh 必须安装

2 修改host 均要修改

3 ssh配置各slave节点 与 master节点免密码登陆

1.配置SSH 免密码登陆

• master上设置
• cd ~/.ssh # 若是没有该目录，先执行一次ssh localhost
• rm ./id_rsa* # 删除以前生成的公匙（若是有）
• ssh-keygen -t rsa # 一直按回车就能够

2.让Master节点需能无密码SSH本机

• 在 Master 节点上执行：
• cat ./id_rsa.pub >> ./authorized_keys
• 修改authorized_keys权限 chmod 600 ~/.ssh/authorized_keys

3.slave免密码登陆master

• 复制公钥 master上操做 scp ~/.ssh/id_rsa.pub app@172.19.2.3:~/.ssh
• cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
• chmod 600 ~/.ssh/authorized_keys

参考:http://www.cnblogs.com/ivan0626/p/4144277.html

4 hadoop安装

1.解压下载hadoop文件

2.在master本地文件系统建立如下文件夹：

hadoop/dfs/name hadoop/dfs/data hadoop/tmp

3.配置文件

core-site.xml

<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/hadoop/tmp</value>
    <description>Abase forother temporary directories.</description>
</property>

这里是hadoop的临时文件目录，file的含义是使用本地目录。也就是使用的是Linux的目录，必定确保下面目录

hdfs-site.xml

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/hadoop/dfs/data</value>
</property>

这里要涉及到的配置文件有7个：

/hadoop/etc/hadoop/hadoop-env.sh（添加java路径）
/hadoop/etc/hadoop/yarn-env.sh（添加java路径）
/hadoop/etc/hadoop/slaves (添加节点)
/hadoop/etc/hadoop/core-site.xml
/hadoop/etc/hadoop/hdfs-site.xml
/hadoop/etc/hadoop/mapred-site.xml
/hadoop/etc/hadoop/yarn-site.xml

4.复制到其余node

5.启动

hadoop/bin 下 hadoop namenode -format 格式化hdfs
hadoop/sbin 下 start-all.sh

参考:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
参考:http://www.linuxidc.com/Linux/2015-11/124800.htm
参考:http://www.aboutyun.com/thread-7684-1-1.html

常用的linux命令

sudo chown -R username:group filename 改变文件所属 sudo scp -r /usr/hadoop app@slave1:~/ 复制文件到其余节点