从0开始搭建hadoop伪分布式集群（二：hadoop组件）

hadoop组件

• 安装hadoop
• 在windows上查看hadoop界面
• • 配置windows的hosts

安装hadoop

按alt + p键，进入sftp传输界面，执行指令
put D:/hadoop-2.4.1.tar.gz
将安装包传输到linux系统

之后回到linux，将hadoop解压到app文件夹下，执行
tar -zxvf hadoop-2.4.1.tar.gz -C app/

执行
cd /home/hadoop/app/hadoop-2.4.1/share
rm -rf doc
(doc文件没用，如果要将配置好的hadoop传送给其他机器，还占用空间，麻烦)

执行
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop

执行
vi hadoop-env.sh
再右键左上方标签，点击clone session，执行
$echo $JAVA_HOME
获取JAVA_HOME
填入文件hadoop-env.sh中
将

更改为

再执行vi core-site.xml

fs.defaultFS hdfs://HA3VM01:9000/ hadoop.tmp.dir /home/hadoop/app/hadoop-2.4.1/data/

更改后如上，保存。

再执行vi hdfs-site.xml

dfs.replication 1

更改后如上，保存。

执行
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

mapreduce.framework.name yarn

更改后如上，保存。

执行
vi yarn-site.xml

yarn.resourcemanager.hostname HA3VM01 yarn.nodemanager.aux-services mapreduce_shuffle

更改后如上，保存。

执行
sudo service iptables status
查看防火墙状态
sudo service iptables stop
关闭防火墙
执行
sudo chkconfig iptables --list
sudo chkconfig iptables off

执行
sudo vi /etc/profile

更改后，文件末尾如下
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPH​OME/bin:HADOOP_HOME/sbin

执行
source /etc/profile

执行hadoop namenode -format

出现successfully，则为成功

执行
start-dfs.sh

执行过程如上图
之后执行jps
出现

则为成功

执行
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop
vi slaves

在文件末尾加入主机名称
HA3VM01

再执行
start-yarn.sh

结果如上图

执行jps

如上则为成功

在windows上查看hadoop界面

配置windows的hosts

进入
C:\Windows\System32\drivers\etc

文件末尾加上
192.168.2.156 HA3VM01
保存

在windows下的浏览器访问
http://HA3VM01:50070
若为active

则成功

测试传输：
在linux下执行
hadoop fs -put jdk-7u65-linux-i586.tar.gz hdfs://HA3VM01:9000/

点击图上画红线的file system，若有上传的文件，则成功。

如果执行
hadoop fs -get hdfs://HA3VM01:9000/jdk-7u65-linux-i586.tar.gz
则可以把hadoop文件系统的文件下载下来

如果执行
cd /home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce
再执行
hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 5
若执行成功（如下图），

则为配置成功