Hadoop2.0伪分布式平台环境搭建

1、搭建环境的前提条件

　　环境：ubuntu-16.04

　　　　　hadoop-2.6.0

 　　　　  jdk1.8.0_161。这里的环境不必定须要和我同样，基本版本差很少都ok的，所需安装包和压缩包自行下载便可。

　　由于这里是配置Hadoop的教程，配置Java以及安装VMware Tools就自行百度解决哈，这里就不写了（由于教程有点长，可能有些地方有些错误，欢迎留言评论，我会在第一时间修改的）。

2、搭建的详细步骤

　1.配置免密码登录ssh

　　　先判断是否安装ssh，输入命令：ssh localhost，若提示输入密码，即已经安装。若是没有安装，输入命令：sudo apt-get install openssh-server 安装

　　　　

　　　修改ssh配置文件：
　　　输入命令：vim /etc/ssh/ssh_config 将其中的 Port 22 字段和 PermitLocalCommand no 字段前面的 '#’删除，而且，将 PermitLocalCommand 后面的 no 改成 yes

　　　　

　　　修改事后截图：

　　　　　

　　　查看在根目录下是否存在.ssh文件夹：
　　　输入命令：cd
　　　　　　　　ls -a

 　　　　　　　　

　　　若没有则在根目录下建立.ssh文件夹，输入命令：mkdir .ssh
　　　产生密钥，输入命令：cd /root/.ssh
　　　　　　　　　　　　　ssh-keygen -t rsa

　　　　　　

　　　将生成的公钥追加到受权的key中去
　　　输入命令：cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
　　　验证安装是否成功，输入命令：ssh –version
　　　　　　　　　　　　　　　　　ssh localhost 提示不须要输入密码则安装成功。

　　　　

　2. 配置Hadoop

　　　　将下载好的Hadoop压缩包文件拖进Linux下，为了后续的学习的过程，最好单首创建一个文件夹存放这些文件。我这里使用命令：mkdir /home/xiaow/hadoop2.0建立了一个名为hadoop2.0的文件夹，再将hadoop2.6.0压缩包拖进里面并解压。

　　　　

　　　配置环境变量，输入命令：cd /etc
　　　　　　　　　　　　　　　vim profile

　　　在末尾追加：export HADOOP_HOME=/home/xiaow/hadoop2.0/hadoop-2.6.0

　　　　　　　　　export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

　　　注意：这里的路径为本身解压后的路径，每一个人的路径不相同。

　　　　

　　　配置完环境变量后，须要系统配置一下环境变量，以便生效。
　　　输入命令：source /etc/profile

　　　　　

　3. 修改Hadoop配置文件

　　　　须要修改的 hadoop 的配置文件有 5 个，即 core-site.xml、hdfs-site.xml、yarn-site.xml、 slaves、hadoop-env.sh 五个文件。这5个文件的位置为：

　　　　

　　　　

　　　　

　　(1).  配置core-site.xml文件

<property>  
    　　<name>hadoop.tmp.dir</name>  
    　　<value>/home/tmp </value> 设置临时文件夹，只要在 home 下便可 </property> 
<property>  
    　　<name>fs.defaultFS</name>  
    　　<value>hdfs://localhost:9000</value>  也能够改成本机 IP 地址 
</property>

　　　　

　　(2). 配置hdfs-site.xml文件

<property>  
    　　<name>dfs.replication</name>  
    　　<value>1</value>   备份数目，单节点上是 1，多节点通常为 3 
</property> 
<property>  
    　　<name>dfs.namenode.name.dir</name>  
    　　<value>/home/xiaow/hadoop/dfs/name</value> NameNode 所在路径 
</property> 
<property>  
    　　<name>dfs.datanode.data.dir</name>  
    　　<value>/home/xiaow/hadoop/dfs/data</value> dataNode 所在路径 
</property> 
<property>  
    　　<name>dfs.permissions</name>  
    　　<value>false</value>    HDFS 的权限，默认就行 
</property>

　　　　

　　(3). 配置yarn-site.xml文件

<property>
　　　　<name>mapreduce.framework.name</name>  
　　　　<value>yarn</value> 
</property> 
<property>  
　　　　<name>yarn.nodemanager.aux-services</name>              
　　　　<value>mapreduce_shuffle</value> 
</property> 

　　

　　　　

 　　(4). 配置slaves文件

　　　　默认就好，不用修改

　　　　

　　(5). 配置hadoop-env.sh

　　　　

　　　　将里面的 JAVA_HOME=${JAVA_HOME}修改成本身安装的jdk地址

　　　　

　　　　至此hadoop配置文件的修改，已经所有完成。

3、启动Hadoop

　　输入命令：

cd /home/xiaow/hadoop2.0/hadoop-2.6.0  
bin/hadoop namenode –format
sbin/start-all.sh
jps

　　

　　

　　

　　出现以下图所示6个Java进程，则Hadoop伪分布式成功搭建。

　　

4、补充说明

　一、若是出现下面这种状况

　　　　　

　　　　输入命令：source /etc/profile 便可解决

　二、出现进程不够的状况（通常是少一个datanode进程）

　　　　应先输入 sbin/stop-all.sh 中止 hadoop全部进程

　　　解决办法可能有如下两种：

　　　　　　1. 再仔细检查刚才配置文件是否出现错误。通常本身检查不出错误，可叫同窗帮忙检查一下,必须仔细比对。 再依次使用这三个命令启动Hadoop：

　　　　　　　　

　　　　　　2.多是临时文件夹没删掉。

　　　　　　　　　　

　　　　　　　　　　　　

　　　　　　　找到上图箭头所指示的文件夹并删掉，在从新启动hadoop，如此问题解决。