Elasticsearch源码解析：环境搭建

在以前学习Redis的过程当中，我就是一边经过文档/视频学习，一边阅读源码。我发现两种方法能够相辅相成，互相补充。阅读文档能够帮助咱们快速了解某个功能，阅读源码有助于咱们更深刻的理解这一功能的实现及思想。

所以，在学习 Elasticsearch 的时候我也准备采用这样的模式。因此，从今天开始，我会按期更新学习 Elasticsearch 源码的收获。在开始学习以前，须要先把环境准备好。因此今天就先分享一下准备环境的过程。

软件环境

Intellij Idea:2020.1版本

JDK 12

Gradle 5.5

下载源码

你能够在 Github 中下载 release 版本或指定 tag 的源码，地址以下。

https://github.com/elastic/elasticsearch/releases

下载好之后解压到指定目录/

tar -xzvf elasticsearch-7.3.1.tar.gz

也能够直接在命令行经过 git 下载源码

git clone git@github.com:elastic/elasticsearch.git

而后能够切换到你想要的版本

git checkout v7.3.1

导入IntelliJ IDEA

下载好源码之后，咱们来将项目导入 IDEA，首先，进入到项目的根目录，执行命令

./gradlew idea

这一步是生成 IntelliJ 的项目文件，须要下载一些依赖包，下载的不顺利的同窗能够选择将 gradle 源切换成国内的源。

切换 gradle 源

进入目录

cd ~/.gradle

新建一个名为 init.gradle 的目录，内容以下

allprojects {
    repositories {
        def ALIYUN_REPOSITORY_URL = 'https://maven.aliyun.com/repository/public'
        all { ArtifactRepository repo ->
            if(repo instanceof MavenArtifactRepository){
                def url = repo.url.toString()
                if (url.startsWith('https://repo1.maven.org/maven2')) {
                    project.logger.lifecycle "Repository ${repo.url} replaced by $ALIYUN_REPOSITORY_URL."
                    remove repo
                }
            }
        }
        maven { url ALIYUN_REPOSITORY_URL }
    }
}

文件生成好以后，会有以下提示

如今咱们开始往 idea 中导入项目，File -> New Project From Existing Sources，选择你的代码根目录，而后点击open，以后在Import project from external model -> Gradle，到 idea 中，它还会下载一些包。下载完之后，咱们就算是导入完成了。

本地运行Elasticsearch

将项目导入到 idea 中以后，咱们就能够尝试运行项目了，这一步看似简单，倒是我花费时间最多的一步。首先咱们找到 server 包下的org/elasticsearch/bootstrap/Elasticsearch.java，运行其中的main函数。

若是你运行失败，不要惊慌，咱们须要加一些配置。

点开 Run/Debug Configrations，如图，咱们须要在 VM options 中加一些配置。还须要勾选上 Include dependencies with "Provided" scope

VM options 以下

-Des.path.home=/Users/moka/eshome
-Des.path.conf=/Users/moka/eshome/config
-Xms1g
-Xmx1g
-Dlog4j2.disable.jmx=true
-Djava.security.policy=/Users/moka/eshome/config/elasticsearch.policy

下面对这些参数进行一下说明

-Des.path.home：指定eshome所在路径，elasticsearch 会须要从这个路径下加载一些包，所以，咱们须要指定一个目录，而后把必要的模块和配置文件复制到该目录下，你能够选择本身编译源码，或者是从官网下载对应的二进制版本，

tar -zxvf elasticsearch-7.3.1-darwin-x86_64.tar.gz
cd elasticsearch-7.3.1
cp -r config modules plugins /Users/moka/eshome

-Des.path.conf：指定配置文件所在的路径名，后续调整节点配置时，修改其下的配置文件

-Xms1g 和 -Xmx1g 设置 JVM 堆的大小

-Dlog4j2.disable.jmx=true：这个是jvm.options文件中的默认配置，不加的话会报“access denied”等错误。

-Djava.security.policy：这个也是权限问题，配置policy文件路径，内容以下

grant{
  permission javax.management.MBeanTruxtPermission "register";
  permission javax.management.MBeanServerPermission "createMBeanServer";
  permission java.lang.RuntimePermission "createClassLoader";
};

按照这些配置好之后，发现仍是会报错

java.lang.NoClassDefFoundError: org/elasticsearch/plugins/ExtendedPluginsClassLoader
	at org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:494) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.loadBundles(PluginsService.java:422) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:146) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:303) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:246) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[main/:?]
	at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
	at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
	at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[main/:?]
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.plugins.ExtendedPluginsClassLoader
	at jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582) ~[?:?]
	at jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) ~[?:?]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:499) ~[?:?]
	... 15 more

这一步应该是 IDEA 的报错，网上有同窗说是勾选 Include dependencies with "Provided" scope，我试了一下没什么效果。而后把 server 包下的 build.gradle 文件修改一下解决了问题。

找到

compileOnly project(':libs:elasticsearch-plugin-classloader')

修改成

compile project(':libs:elasticsearch-plugin-classloader')

改完以后再次运行，会有一个空指针报错，报错位置是

server/src/main/java/org/elasticsearch/node/InternalSettingsPreparer.java:119

这里是由于我没有设置 node.name，在 elasticsearch.yml 文件中设置一下就能够了。

如今再点击 Run/Debug ，就能够成功运行了。

远程调试

本地调试的另外一种方法就是远程 debug。

首先，咱们进入到下载的一个稳定版本的 elasticsearch 目录，在 bin/elasticsearch文件中加上一行代码

-agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \

加上以后的代码以下：

if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

而后咱们执行./elasticsearch，会出现以下信息，说明 Elasticsearch 在监听8888端口。

如今咱们到 IDEA 中添加一个 Remote Run

接着进行端口配置。

而后就能够选择这个 Remote 来进行 Debug 了。当控制台出现

Connected to the target VM, address: 'localhost:8888', transport: 'socket'

说明链接成功了。

咱们来实验一下，在这个位置打一个断点

server/src/main/java/org/elasticsearch/rest/action/cat/RestHealthAction.java:54

而后在浏览器地址栏中输入

http://localhost:9200/_cat/health

若是进入断点，说明咱们已经能够成功 Debug 了。

总结

工欲善其事，必先利其器。在阅读源码以前，咱们首先须要搭建好环境，本文咱们介绍了两种方法，一种是直接在 IDEA 中启动 Elasticsearch ，另外一种是 Debug 远程的 Elasticsearch。其中第二种方法，相对比较简单，推荐你们使用。