基于Hadoop搭建HDFS伪分布式环境的安装步骤
本次实验中,老师使用的是hadoop用户,我是直接使用root用户,所以没有sudo,环境变量也是/etc/profile,其他的基本一样。
查看已经上传的jdk文件,并安装
安装命令: yum localinstall -y jdk-8u171-linux-x64.rpm
添加到系统环境变量: ~/.bash_profile
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export PATH= PATH:$HOME/bin
使得环境变量生效:source ~/.bash_profile
验证java是否配置成功: java -version
在安装ssh是出错,用xshell进行ssh连接,发现可以连通,所以不再安装
下载并解压Hadoop,
已经下载并放到桌面上,直接解压,安装
解压:tar -zxvf Hadoop-2.6.0-cdh5.7.0.tar.gz
查看目录,并进入/etc/Hadoop/
hadoop配置文件的修改($HADDOP_HOME/etc/hadoop)
hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
core-site.xml
fs.defaultFS
hdfs://localhost:9000
由于hadoop伪分布式存储默认使用宿主系统的临时文件夹,会导致每次宿主系统重启后丢失,需要手动制定一个目录
hadoop.tmp.dir
/home/hadoop/app/tmp
hdfs-site.xml
dfs.replication
1
添加环境变量:
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH= HADOOP_HOME/sbin:$PATH
使环境变量生效 source /etc/profile
查看Hadoop
格式化分布式文件系统(仅第一次执行即可,不可重复执行):
hdfs namenode -format
启动: start-dfs.sh
验证是否启动成功:
jps
NameNode
SecondaryNameNode
DataNode
浏览器访问方式:http://localhost:50070
8) 关闭hdfs
stop-dfs.sh