hadoop MapReduce初试遇到的问题

hadoop MapReduce初试遇到的问题

./hadoop jar ./MapReduce-jar-with-dependencies.jar com.hc360.mp.WordCountHbaseReader /user/hbase/tabelname01 tablename

在hadoop集群上执行 MapReduce任务时，须要用到许多依赖jar，通常状况下都是在执行时，在执行命令上进行配置指定，这样会形成执行命令太长，而且容易出错，有时还想带几个参数信息，这样更容易出错；

比较好的处理方法是，在生成运行jar时，将须要的依赖jar打包到运行jar中，这样在执行时全部依赖的jar都有了，就不用指定了。

./hdfs dfs -rmr /user/hbase/

hdfs上已有的文件不能进行覆盖，生成文件时必须是没有的新文件，能够在产生文件前执行以上命令清除已有的文件：

16/07/19 18:26:08 INFO ipc.Client: Retrying connect to server: xxxx/192.168.xx.xx:8032. Already tried 4 time(s); retry policy is etryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

hadoop集群上，若是没有启动 yarn（MapReduce），当运行MapReduce任务时，会提示上面的信息； 

当执行hadoop的shell命令时，若是提示相似上面的信息，能够查看是否启动了hadoop进程。

java.lang.IllegalArgumentException: Does not contain a valid host:port authority:

java.net.UnknownHostException

hadoop集群的hostname配置，主机名不要包含下划线“_”，但能够有横线“-”。

在hadoop集群中每一个机器都要配置集群全部机器的hostname域名，以便相互访问。

这里分享一个血的教训，在给hostname起名字的时候必定要注意，虽然linux支持一些特殊字符，但java里面并不支持，因此hostname的命名必定要使用数字和字母（以点号分隔）。若是起的hostname包含了特殊字符下划线，致使hadoop运行时候的reduce阶段出错。