Cascalog：Up and Run

<h1>运行 cascalog</h1>

<p>通过几天的挣扎（业余时间），终于把 cascalog 运行起来。由于 hadoop 集群不是本身搭的，有一些关于安全方面的设置，对初学形成了必定的麻烦。反复尝试才跑起来。</p>

<h2>建立项目</h2>

<p>仍是用 lein 来管理项目的依赖和打包。先运行 <code>lein new cascalog-demo</code> 来建立项目。修改 project.clj 以下：</p>

(defproject cascalog-demo "0.1.0-SNAPSHOT"
  :description "FIXME: write description"
  :jvm-opts ["-Dmapred.queue.job.name=apg_qashort_p3"]
  :url "http://example.com/FIXME"
  :license {:name "Eclipse Public License"
            :url "http://www.eclipse.org/legal/epl-v10.html"}
  :dependencies [[org.clojure/clojure "1.5.1"]
                 [org.apache.hadoop/hadoop-common "0.23.8"]
                 [org.apache.hadoop/hadoop-hdfs "0.23.8"]
                 [org.apache.hadoop/hadoop-mapreduce-client-core "0.23.8"]
                 [org.apache.hadoop/hadoop-mapreduce-client-common "0.23.8"]
                 [cascalog/cascalog-core "2.0.0-SNAPSHOT"]]
  :resource-paths ["/home/gs/conf/current" "resources"]
  :source-paths ["src/clj"]
  :aot [cascalog-demo.demo]
  :main cascalog-demo.demo)

<h2>添加 hadoop 配置</h2>

<p>由于是直接在 hadoop 集群上尝试，没有尝试本地开发模式，因此须要考虑 hadoop 的集群配置。没有加配置前会报错找不到 namenode 之类的错误，后来又碰到通不过 KERBEROS 认证，默认的 hadoop queue 不可用等等错误。</p>

<p>在 project.clj 中的 <code>:resource-paths ["/home/gs/conf/current" "resources"]</code> 一行就是添加一些 hadoop 的配置。 其中 /home/gs/conf/current 是集群上的 $HADOOP_CONF_DIR 目录，包含了集群的基本配置。resources 是当前项目中的目录，其中会包含一个 job-conf.clj 文件，这个文件包含了一些提交 job 时的配置，内容以下：</p>

{"hadoop.tmp.dir" "/tmp"
 "mapreduce.job.complete.cancel.delegation.tokens" "false"
 "mapred.job.queue.name" "queue_name"}

<h2>Demo 代码</h2>

<p>建立文件 src/clj/cascalog_demo/demo.clj, 内容以下：</p>

(ns cascalog-demo.demo
  (:use cascalog.api)
  (:use cascalog.playground)
  (:gen-class))
(defn -main
  []
  (?- (stdout) sentence))

<h2>打包运行</h2>

<p>用 lein 把全部依赖包，以防在集群上没有权限装须要的 jar 包：<code>lein uberjar</code></p>

<p>完成后会生成 target/cascalog_test-0.1.0-SNAPSHOT-standalone.jar</p>

<p>运行包：<code>hadoop jar target/cascalog_test-0.1.0-SNAPSHOT-standalone.jar</code></p>