1、下载node
http://hadoop.apache.org/ hadoop官网git
2、解压github
注:使用管理员权限解压apache
3、配置环境变量eclipse
添加HADOOP_HOME配置:本身安装hadoop路径,个人是D:\hadoop-3.0.3oop
在Path中添加以下:本身安装hadoop路径/bin,如:D:/hadoop-3.0.3/binui
4、hadoop须要jdk支持,jdk路径不能有空格,若有空格,能够这样,如:”D:\Program Files"\Java\jdk1.8.0_25code
5、hadoop路径下建立data用于数据存储,再在data下建立datanode目录和namenode目录orm
6、hadoop配置xml
四个hadoop路径/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml
1.core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
myeclipse上配置hadoop时,localhost需写成本身的IP
2.mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
3.hdfs-site.xm
<configuration> <!-- 这个参数设置为1,由于是单机版hadoop --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/hadoop-3.0.3/data/namenode</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/D:/hadoop-3.0.3/data/snn</value> </property> <property> <name>fs.checkpoint.edits.dir</name> <value>/D:/hadoop-3.0.3/data/snn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/hadoop-3.0.3/data/datanode</value> </property> </configuration>
4.yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
7、修改D:/hadoop-3.0.3/etc/hadoop/hadoop-env.cmd配置,找到set JAVA_HOME=%JAVA_HOME%替换为set JAVA_HOME="D:\Program Files"\Java\jdk1.8.0_25
8、winutils中对应的hadoop版本中的bin替换本身hadoop安装目录下的bin
找到对应的版本下的bin替换hadoop中的bin
配置完成
9、启动服务
1.cmd中,D:\hadoop-3.0.3\bin> hdfs namenode -format
执行后,data下的namenode和datanode下会有current等文件,我当时安装的是hadoop3.1.1,用的winutils中的hadoop3.0.0,datanode老是没有启动没有数据,换成hadoop3.0.3,使用wintuils的hadoop3.0.0后,就能够了。
2.D:\hadoop-3.0.3\sbin启动start-all.cmd服务,会看到
10、HDFS应用
一、经过http://127.0.0.1:8088/便可查看集群全部节点状态:
二、访问http://localhost:9870/便可查看文件管理页面:
a.进入文件系统
b.建立目录
c.上传成功
注:在以前的版本中文件管理的端口是50070,在3.0.0中替换为了9870端口
d.使用hadoop命令进行文件操做
mkdir命令建立目录:hadoop fs -mkdir hdfs://ip:9000/user
put命令上传文件:hadoop fs -put D:/a.txt hdfs://ip:9000/user/
ls命令查看指定目录文件列表:hadoop fs -ls hdfs://ip:9000/user/