Hadoop tutorial - 3 Hello MapReduce- 2015-3-30

测试HDFS

上传文件到hdfs hadoop分布式文件系统

hadoop fs -put /opt/jdk.gz hdfs://master:9000/jdk

 

5/22/2017------------------------

17/05/21 22:55:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: Cannot create file/jdk._COPYING_. Name node is in safe mode.
忽略第一行错误，看第二行，是因为系统空间不足

df -hl命令查看系统空间使用状况

删除一些文件后，正常执行上传文件

5/22/2017------------------------

 

下载到linux文件系统

hadoop fs -get hdfs://master:9000/jdk /opt/jdk2

 

查看文件列表

hadoop fs -ls

 

例子-wordcount

上传包含各类单词的word文件到hdfs，而后执行如下命令，能够获得结果文件word-out

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://master:9000/word  hdfs://master:9000/word-out

默认在hdfs文件系统底下，因此也能够简写成如下

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /word  word-out-2