下图是大概步骤:浏览器
下面是详细步骤,但个人代码跟上面有点不同,但都是一个道理:oop
第一个程序测试 wordcount测试
先建立目录 xml
hadoop fs -mkdir /wcblog
hadoop fs -mkdir /wc/input排序
把要统计的文件放入目录hadoop
hadoop fs -put /opt/modules/hadoop-1.2.1 /conf/*.xml /wc/inputget
运行程序input
hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/outputast
而后可看到运行状况。
而后可经过浏览器查看相关信息
http://hadoop-master.dragon.org:50030的Running Jobs(运行完后看
Completed Jobs)
http://hadoop-master.dragon.org:50070的Browse the filesystem查看文件信息,固然也可经过命令查看,
如hadoop fs -text /wc/output/part-r-00000
下图是图解:
简单说下原理,就是把多个文件分别统计,而后排序并合在一块儿,而后再统计。
附: