安装hadoop2

准备工做：

1、先关闭防火墙

systemctl stop firewalld

2、安装jdk

参考：http://www.javashuo.com/article/p-dlflfkrv-co.html

3、配置ssh免密登陆

参考：http://www.javashuo.com/article/p-maplxbux-cu.html

4、配置hosts

vim /etc/hosts

正式开始：

1、下载hadoop

wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz

2、解压

tar -zxvf hadoop-2.6.5.tar.gz

3、进入hadoop安装目录下的配置文件目录

cd hadoop-2.6.5/etc/hadoop/

4、修改hadoop-env.sh文件，配置jdk路径

vim hadoop-env.sh

5、修改yarn-env-sh文件，配置jdk路径

vim yarn-env.sh

6、修改slaves文件，配置从节点

vim slaves

7、修改core-site.xml文件

vim core-site.xml

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://192.168.119.10:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>file:/usr/local/src/hadoop-2.6.5/tmp/</value>
</property>

8、修改hdfs-site.xml文件

vim hdfs-site.xml

<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>master:9001</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/usr/local/src/hadoop-2.6.5/dfs/name</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/usr/local/src/hadoop-2.6.5/dfs/data</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>

9、配置mapred-site.xml文件

复制出一个文件（本来没有mapred-site.xml）

cp mapred-site.xml.template mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

修改vim mapred-site.xml

10、修改yarn-site.xml文件

vim yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>master:8032</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:8030</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:8035</value>
</property>
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>master:8033</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>master:8088</value>
</property>
<!-- 关闭虚拟内存检查-->
<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>

11、建立临时目录和文件目录

mkdir /usr/local/src/hadoop-2.6.5/tmp

mkdir -p /usr/local/src/hadoop-2.6.5/dfs/name

mkdir -p /usr/local/src/hadoop-2.6.5/dfs/data

12、配置环境变量

vim ~/.bashrc

HADOOP_HOME=/usr/local/src/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin

刷新环境变量：source ~/.bashrc

十3、拷贝hadoop安装包到各个子节点

scp -r /usr/local/src/hadoop-2.6.5 root@slave1:/usr/local/src/hadoop-2.6.5

scp -r /usr/local/src/hadoop-2.6.5 root@slave2:/usr/local/src/hadoop-2.6.5

十4、第一次启动集群前，要先格式化一下（我的理解是将本地文件系统装成hdfs文件系统）

hadoop namenode -format

十5、启动hadoop

进入可执行命令文件夹：cd /usr/local/src/hadoop-2.6.5/sbin/

启动：./start-all.sh

十6、测试：查看集群状态

主节点：

各个子节点：

十7、测试：查看web监控页面

十8、测试：上传和查看个文件试试

十9、成功！！！