Hadoop伪分布式环境安装

一.环境准备

　　阿里云ECS(Centos7).已预装JDK8

　　Hadoop安装包 hadoop-2.7.7.tar.gz

二. 安装步骤

　　1.确认JDK环境的安装位置

　　命令 echo $JAVA_HOME

　　2.解压hadoop-2.7.7.tar.gz 文件夹到指定目录(目录能够本身定义)

　　命令 tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/ (我这里是解压到 /opt/module/目录下)

　　3.配置运行环境

　　　　文件1:hadoop-env.sh

　　  　 　　配置Hadoop对JDK依赖的环境

　　　　　　输入echo JAVA_HOME=(JDK环境的安装位置,根据步骤1能够肯定)

　　　　文件2:core-site.xml

　　　　　　配置文件系统柜HDFS的主机名称和端口号(这里使用本机的名称,能够经过hostname查看主机名称.端口号随意指定,可是要在阿里云控制台开启对外端口

<property>
      <name>fs.default.name</name><value>hdfs://localhost:8020</value></property>

　　　　　 配置文件系统namenode节点文件存放的目录

<property>
      <name>dfs.name.dir</name>//hadoop临时目录用来存放临时文件,若是不设置,则该文件会在linux系统重启后消失 <value>/hadoop/name</value> //该目录必须预先手工建立不能删除 </property>

　　　　　配置文件系统柜datanode节点文件存放目录

<property>
      <name>dfs.data.dir</name> //hadoop临时目录用来存放namenode文件 <value>/hadoop/data</value> //该目录必须预先手工建立不能删除 </property>

　　　　  配置文件系统临时文件的存放目录

<property>
      <name>hadoop.tmp.dir</name> //hadoop临时目录用来存放datanode文件 
　　　　<value>/hadoop/tmp</value> //该目录必须预先手工建立不能删除 
</property>

　　　文件2:hdfs-site.xml

　　　　　　配置dfs的副本数量,伪分布式设置为1便可

<property>         <name>dfs.replication</name>         <value>1</value>
</property>

　　4.配置完成后须要 format格式化文件系统(注意.第一次执行便可,不要重复执行,重复执行会出问题,https://blog.csdn.net/weixin_38847462/article/details/77879459)

　　　　进入bin 目录下./hadoop namenode -format

　　　　出现如下提示表示格式化成功

　　　　

 

 　　5.启动hdfs 

　　　　进入sbin目录下.启动脚本./start-dfs.sh

　　　　启动完成后 输入 jps能够查看是否启动成功(注意,若是这里没有配置ssh免密登陆,name就会要你输入密码,很烦)

　　　　看到如下就是启动成功了

　　　　

 　　　　注意:若是没有这几个进程,就是启动失败,能够查看日志信息,日志信息在启动时能够查看,将out变为log便可

　　　　http://localhost:50070

　　6.配置Hadoop 的bin目录到系统的环境变量中,这样使用shell就比较方便

　　　　/opt/module/hadoop-2.7.7/bin

　　　　vim ~/.bash_profile 

            

　　　　source ~/.bash_profile 

　　　　使用echo $HADOOP_HOME确认是否配置成功

　　　　

 　　7.hadoop经常使用的命令