Hadoop安装-伪分布式

Hadoop安装有三种模式，单机模式、伪分布式和分布式安装

伪分布式安装

一、去hadoop官网下载 .tar.gz 文件，并拷贝到虚拟机中

　　增长hadoop环境变量，　　

　　　　export HADOOP_HOME=/home/wdd/hadoop-2.9.0
　　　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　上面两句分别在.bash_profile和/etc/profile中增长。

　　.bash_profile 是限制于用户，

　　/etc/profile 是全局用户

二、解压，tar -xzf hadoop-2.9.0.tar.gz 

　　压缩、解压命令：　

　　　　tar –cvf jpg.tar *.jpg //将目录里全部jpg文件打包成tar.jpg
　　　　tar –czf jpg.tar.gz *.jpg   //将目录里全部jpg文件打包成jpg.tar后，而且将其用gzip压缩，生成一个gzip压缩过的包，命名为jpg.tar.gz
　　　　tar –cjf jpg.tar.bz2 *.jpg //将目录里全部jpg文件打包成jpg.tar后，而且将其用bzip2压缩，生成一个bzip2压缩过的包，命名为jpg.tar.bz2
　　　　tar –cZf jpg.tar.Z *.jpg   //将目录里全部jpg文件打包成jpg.tar后，而且将其用compress压缩，生成一个umcompress压缩过的包，命名为jpg.tar.Z

　　　　tar –xvf file.tar //解压 tar包
　　　　tar -xzvf file.tar.gz //解压tar.gz
　　　　tar -xjvf file.tar.bz2   //解压 tar.bz2
　　　　tar –xZvf file.tar.Z   //解压tar.Z
　　　　unrar e file.rar //解压rar
　　　　unzip file.zip //解压zip
三、 配置Hadoop，通常须要配置5个文件，配置文件路径在etc/hadoop

　　1） 编辑 vi hadoop-env.sh 

　　　　增长java环境变量，以下

　　　　export JAVA_HOME=/home/jdk/ 或者 export JAVA_HOME=${JAVA_HOME}

　　2） 编辑 vi core-site.xml，配置以下：　

　　　　

　　3） 编辑 vi hdfs-site.xml，datanode能够配置多个

　　　　

　　4） 编辑vi mapred-site.xml，须要根据mapred-site.xml.template建立（cp  mapred-site.xml.template mapred-site.xml）

　　　　编辑以下：　　

　　　　

　　5） 编辑 vi yarn-site.xml

　　　　

　　6） 而后建立上述配置中出现的目录，并分配读写权限

　　7）启动hdfs namenode -format，报错以下：　　

　　　　　　

　　　　缘由，版本不匹配所致，不一样的JDK使用不一样的 major.minor.

　　　　Hadoop版本高于2.7应该用jdk1.7

　　　　　　　　　   低于2.6应该用jdk1.6　　

　　8） 更换jdk版本，成功执行

四、启动hadoop　　

　　1） 启动hdfs集群

　　　　hadoop-daemon.sh start namenode 启动主节点
　　　　hadoop-daemon.sh start datanode 启动从节点

　　　　

　　2） 启动yarn集群

　　　　yarn-daemon.sh start resourcemanager
　　　　yarn-daemon.sh start nodemanager

　　　　

　　3）启动做业历史服务器

　　　　mr-jobhistory-daemon.sh start historyserver

 　　　　

　　4） jps查看是否启动成功，成功启动

　　　　

　　5） 查看是否启动成功，

　　　　http://localhost:50070

　　　　http://localhost:8088