hadoop文件系统测试

java和hadoop环境都搭建好之后,接下来就是测试了,

首先配置文件系统的相关配置,全部的配置文件都在hadoop项目下面的conf目录下面,下面是具体的配置内容,这里测试属于伪分布式,在同一台机器上面运行的.下面的五个配置文件分别对应hadoop生态系统的五大守护进程.

1.core-site.xml

<configuration>
 <property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop-master.dragon.org:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/data/tmp</value>
 </property>
</configuration>

2.hdfs-site.xml

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.permission</name>
  <value>false</value>
 </property>
</configuration>

3.mapred-site.xml

<configuration>
 <property>
  <name>mapred.job.tracker</name>
  <value>hadoop-master.dragon.org:9001</value>
 </property>
</configuration>

4.masters

hadoop-master.dragon.org

5.slaves

hadoop-master.dragon.org

OK!配置好这些之后,咱们键入hadoop,能够看到后面携带的不少参数,第一个就是namenode -format,这个命令就是初始化文件系统.

对了,有个地方忘记说了,上面配置的第四个和第五个文件的内容来源.其实也就是/etc/hosts文件中的内容,在上面配置之前先修改这个文件

记得每次修改文件后,用下source命令,在上面的配置中分红三段,本机的IP地址,域名,主机名.而上面的配置中使用的就是域名...在这里有哥地方提醒下,这样咱们在虚拟机上能够访问,可是,在咱们本身的电脑上面怎么访问呢.咱们打开本身电脑的C盘下面的windows下面有个System32,再找到drivers/etc/hosts.修改这个文件,将linux的配置那一段复制到咱们本地的hosts文件下面.而后关闭linux系统的防火墙,这样咱们就能够在咱们本身的电脑上面去访问文件系统了.

在上面咱们格式化文件后,而后启动hadoop的五大守护进程.进入到hadoop的bin目录下面,而后使用start-all.sh就能够了.而后使用jps查看五大守护进程是否都正常启动了.若是正常OK,打开咱们的浏览器键入http://hadoop-master.dragon.org:50070.就能够查看咱们的文件系统了.键入http://hadoop-master.dragon.org:50030.能够查看mapreduce的运行状况.好比说文件系统就以下图所示.