Kafka源码调试环境搭建

写在前面

1. 用到了kafka, 因而借机会看看代码, 顺便复习下Scala, 看到一半, 换电脑了, 搭环境有搭了半天, 因此记录下. 注意这里是0.8.2.2版本, 由于公司用的就是这个版本.

依赖的软件

1. Git
2. ScalaIDE(4.4.1)
3. Gradle
4. ZooKeeper

环境搭建

1. 下载源码并切换分支到0.8.2.2版本:

git clone git@github.com:apache/kafka.git
git checkout -b 0.8.2.2 0.8.2.2

2. 安装配置Gradle
   1. 下载解压Gradle压缩包, 并配置GRADLE_HOME和PATH, (能够经过GRADLE_USER_HOME指定jar包下载地址)
   2. 添加全局配置文件(GRADLE_HOME/init.d/init.gradle), 优先使用本地Maven仓库.

   allprojects {
       repositories {
           mavenLocal()
           maven{ url 'your nexus'}
           mavenCentral()
       }
   }

3. 安装ZooKeeper(略)
4. 将Kafka源码转换为eclipse工程

#切换到kafka代码目录
gradle
./gradlew eclipse

5. 将Kafka工程导入到ScalaIDE中.
   1. 先导入kafka/clients项目(core项目依赖clients)
   2. 再导入kafka/core项目
   3. clients是Java代码不用配置.
   4. core是Scala项目, 由于0.8.2比较老, 因此要设置Scala编译级别为2.10(项目属性->Scala Compiler->勾上Use Project Settings->Scala Installation 选择2.10)
   5. 而后clean下, 反正我是挺顺利的~~~

运行源码

1. 启动ZooKeeper
2. 主类在/core/src/main/scala/kafka/Kafka.scala
3. 修改Kafka.scala文件设置kafka使用的配置文件, 和日志文件配置(经过手动设置main方法参数, 和系统参数来实现)

def main(args: Array[String]): Unit = {
    val args = Array("""C:\projects\kafka08\kafka\core\conf\server.properties""")
    System.setProperty("log4j.configuration", """file:C:\projects\kafka08\kafka\core\conf\log4j.properties""")
    //下面的不修改
}

4. kafka是经过脚原本中止的, 因此这里debug, 为了不每次都杀进程, 因此修改下, 这样能够经过控制台回车就能够正常关闭kafka了.

//注释掉awaitShutdown方法调用, 修改成in.read(), 而后调用shutdown
def main(args: Array[String]): Unit = {
    kafkaServerStartable.startup
    //kafkaServerStartable.awaitShutdown
    System.in.read()
    kafkaServerStartable.shutdown()
}

5. 好了, 如今能够右键 Run As Scala Application运行了