nutch 部署到eclipse常见错误

Nutch部署到eclipse常见错误

Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700

以前在eclipse上部署hadoop时好像也遇到过这个问题。可是，如今已经不知道怎么解决了。

因此，笔记很重要！！！

方法1：

1. 注释掉

<target name="create-native-configure">

<exec executable="autoreconf" dir="${native.src.dir}" searchpath="yes" failonerror="yes">  <arg value="-if"/>

</exec>

  </target>

1. 去掉compile-core-native

  <target name="compile-core-native" depends="create-native-configure，compile-core-classes"

 if="compile.native">

中的create-native-configure依赖

3、修改hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691行，把throw new IOException改成LOG.warn

4、用ant编译项目，编译成功后从build文件夹中取出hadoop-core.jar文件夹，放入咱们eclipse中的hadoop项目中，替换项目中原有hadoop-core.jar，放入lib文件夹下。再经过buildpath添加jar包。

方法2：

不用修改build.xml，直接修改FileUtil.java文件中的“checkReturnValue(rv, f, permission);”，直接注释掉，再用ant命令编译一遍便可产生hadoop-core.jar包，一样将hadoop-core.jar替换掉项目中hadoop-core.jar。

 

继解决了上一个异常Failed to set permissions of path:以后，运行文件又出现异常：

运行参数为：urls -dir crawl -depth 2 -topN 2

异常为：

Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir

这个错是因为未正确指定参数Program arguments致使的。来来去去就这么几个错，折腾了一天。深入体会到，有时候想问题真的不要那么狭隘，要勇于大胆假设。从没想过是Program arguments的问题。。。不过找到问题了就快了。

Eclipse查看hadoop源代码

Eclipse查看hadoop源代码导入不成功。以hadoop-1.2.1.tar.gz为例，咱们先解压hadoop项目，而后在压缩成zip格式的文件，导入便可成功。

total number of urls rejected by filters: 0

我碰见的这个问题并非因为程序自己问题致使的，而是由于传递配置参数时没写正确。

在eclipse中运行injector类时，传的参数应当为：

Main class: org.apache.nutch.crawl.Injector

VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

Program arguments: crawldb urls

继续运行，此次会发现已经开始报错了。很好，报错是好事，惧怕的就是它不报错。能报错就好办了，继续解决下边这个异常：

nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object

nutch部署过程当中出现了下面错误，主要是没有正确配置插件致使的，能够经过设置nutch-site.xml文件的plugin.folders属性解决问题

 修改conf下nutch-default文件将plugin.folders的值由plugins修改成./src/plugin

由于plugin文件在src目录下。