从 0 开始使用 Docker 快速搭建 Hadoop 集群环境

因为种种缘由，掘金等第三方平台博客再也不保证可以同步更新，欢迎移步 GitHub：github.com/kingcos/Per…。谢谢！

Hadoop with Docker

Date	Notes	Hadoop	Other
2017-03-27	首次提交	2.7.2	Docker CE, Intellij IDEA 2016.3

Preface

自从学习 iOS/Swift 以来，就没有太多时间分配给 Java 专业课，毕竟我不是个三心二用还能样样学好的人。不过做为大三的专业课，分布式计算技术仍是有去上课的，毕竟不能最后挂科吧 :]

曾有人说，「开发一个项目，至少有 50% 时间在配置环境」。确实，在折腾了三周的课时以后，我才按照老师给的详细步骤配置好 Hadoop 的环境。尽管如此，因为种种缘由，班里仍有不少同窗尚未配置好 Hadoop 的环境，致使课程一直停滞。在偶然中，我想到了 Docker，Docker 这个词我至少在半年前已经据说（固然，恕我孤陋寡闻，Docker 早在 13 年即发行），但一直没有去了解和使用。时至今日，我对 Docker 的了解也十分少，简单的来讲，Docker 是一种容器（Container）管理工具，经过 Docker 咱们能够配置可移植的环境，方便发布。Docker 基于 Linux，但也提供了 macOS 和 Windows 桌面版，方便在咱们的本地机器测试、使用。

虽然本文是一个小白向的文章，但下载和安装的过程也不会在本文涉及。一是官方网站必然提供了相应的教程，纯粹的翻译毫无心义；二是下载和安装可能随着后续更新发生略微的区别，而本文只着眼于配置 Hadoop 集群环境的搭建。

不过因为我的对 Hadoop 和 Docker 的了解甚少，若有错误，但愿指出，我会学习、改正。

Linux

• Info:
  • Ubuntu 16.10 x64

Docker 自己就是基于 Linux 的，因此首先以个人一台服务器作实验。虽然最后跑 wordcount 已经因为内存不足而崩掉，可是以前的过程仍是能够参考的。

链接服务器

• 使用 ssh 命令链接远程服务器。

ssh root@[Your IP Address]
复制代码

更新软件列表

apt-get update
复制代码

• 更新完成。

安装 Docker

sudo apt-get install docker.io
复制代码

• 当遇到输入是否继续时，输入「Y／y」继续。

• 安装完成。

• 输入「docker」测试是否安装成功。

拉取镜像

• 镜像，是 Docker 的核心，能够经过从远程拉取镜像便可配置好咱们所须要的环境，咱们此次须要的是 Hadoop 集群的镜像。

• 在本文中，咱们将使用 kiwenlau 的 Hadoop 集群镜像以及其配置。因为个人服务器自己即在国外，所以拉取镜像的速度较快，国内因为众所周知的缘由，能够替换为相应的国内源，以加快拉取速度。

sudo docker pull kiwenlau/hadoop:1.0
复制代码

• 拉取镜像完成。

克隆仓库

• 克隆仓库到当前文件夹（能够自行建立并切换到相应文件夹）。

git clone https://github.com/kiwenlau/hadoop-cluster-docker
复制代码

• 克隆仓库完成。

桥接网络

sudo docker network create --driver=bridge hadoop
复制代码

运行容器

cd hadoop-cluster-docker
./start-container.sh
复制代码

• 默认是 1 个主节点，2 个从节点，固然也能够根据性能调整为 N 节点，详见文末参考连接。

启动 Hadoop

./start-hadoop.sh
复制代码

• 在上一步，咱们已经运行容器，便可直接运行 Hadoop。启动时长与机器性能有关，也是难为了我这一台 512 MB 内存的服务器。

测试 Word Count

./run-wordcount.sh
复制代码

• Word Count 是一个测试 Hadoop 的 Shell 脚本，即计算文本中的单词个数。不过因为个人服务器内存不够分配没法完成，因此后续以本机进行测试。

网页管理

• 咱们能够经过网页远程管理 Hadoop：
  • Name Node: [Your IP Address]:50070/
  • Resource Manager: [Your IP Address]:8088/

macOS

• Info:
  • macOS 10.12.4 beta (16E191a)

下载 & 安装

• 打开 Docker 官方网站：www.docker.com，选择社区版，并下载、安装。Windows 系统用户能够选择 Windows 版本。

运行 Docker

• 打开 Docker。为了简单，我没有改动配置，如需更改，能够在 Preferences 中修改。

• 咱们能够在终端（Terminal）输入「docker」，测试是否安装成功。

拉取镜像 & 克隆仓库 & 桥接网络 & 运行容器 & 启动 Hadoop

• 同 Linux。

测试 Word Count

./run-wordcount.sh
复制代码

• 同 Linux，但此次咱们能够运算出结果了。

Windows

其实最开始就没有打算放出 Windows 版，倒不是由于以为 Windows 很差，而是目前手头没有 Windows 的电脑，借用同窗的电脑也不是很方便。若是须要安装 Docker，须要 CPU 支持虚拟化，且安装了 64 位 Windows 10 Pro/企业版（须要开启 Hyper-V）。其余版本的 Windows 能够安装 Docker Toolbox。

• 暂无。

Intellij IDEA

咱们的 Hadoop 集群已经在容器里安装完成，并且已经能够运行。相比本身一个个创建虚拟机，这样的确十分方便、快捷。为了便于开发调试，接下来就须要在 Intellij IDEA 下配置开发环境，包管理工具选择 Gradle。Maven 配合 Eclipse 的配置网上已经有不少了，须要的同窗能够自行搜索。

Docker 开启 9000 端口映射

• 因为咱们使用的是 kiwenlau 的镜像和开源脚本，虽然加快了配置过程，可是也屏蔽了不少细节。好比在其脚本中只默认开启了 50070 和 8088 的端口映射，咱们能够经过 docker ps（注意是在本机，而不是在容器运行该命令）列出全部容器，查看容器映射的端口。

cd hadoop-cluster-docker
vim start-container.sh
复制代码

• 切换到脚本文件夹，使用 Vim 编辑 start-container.sh。在图中光标处添加如下内容，保存并退出。

-p 9000:9000 \
复制代码

• 重启容器，并查看容器状态，如图即为映射成功。

开启 Web HDFS 管理*

该步非必须。为了方便在网页端管理，所以开启 Web 端，默认关闭。

which hadoop
cd /usr/local/hadoop/etc/hadoop/
ls

vi core-site.xml
复制代码

• 找到 Hadoop 配置文件路径，使用 Vi 编辑，若 Vi 的插入模式（Insert Mode）中，上下左右变成了 ABCD，那么可使用如下命令便可：cp /etc/vim/vimrc ~/.vimrc 修复。

• 添加如下内容。

<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>
复制代码

启动 Hadoop

• 同 Linux。

构建依赖

• 使用 Intellij IDEA 新建一个 Gradle 项目，在 Build.gradle 中加入如下依赖（对应容器 Hadoop 版本）。

compile group: 'org.apache.hadoop', name: 'hadoop-common', version: '2.7.2'
compile group: 'org.apache.hadoop', name: 'hadoop-hdfs', version: '2.7.2'
复制代码

Demo

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Before;
import org.junit.Test;

import java.io.FileInputStream;
import java.io.IOException;
import java.net.URI;

/** * Created by kingcos on 25/03/2017. */
public class HDFSOperations {

    FileSystem fileSystem;

    @Before
    public void configure() throws Exception {
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", "hdfs://192.168.1.120:9000");
        fileSystem = FileSystem.get(URI.create("hdfs://192.168.1.120:9000"), configuration, "root");
    }

    @Test
    public void listFiles() throws IOException {
        Path path = new Path("/");
        RemoteIterator<LocatedFileStatus> iterator = fileSystem.listFiles(path, true);

        while (iterator.hasNext()) {
            LocatedFileStatus status = iterator.next();
            System.out.println(status.getPath().getName());
        }
    }

    @Test
    public void rm() throws IOException {
        Path path = new Path("/");
        fileSystem.delete(path, true);
    }

    @Test
    public void mkdir() throws IOException {
        Path path = new Path("/demo");
        fileSystem.mkdirs(path);
    }
}
复制代码

• 以后即可以经过 IDEA 直接写代码来测试，这里简单写了几个方法。

总结

• 在写这篇文章以前，其实我对 Docker 的概念很不了解。可是经过 Learn by do it. 大体知道了其中的概念和原理。咱们彻底能够构建本身的容器 Dockerfile，来部署生产和开发环境，其强大的可移植性大大缩短配置的过程。
• 因为我的对 Hadoop 和 Docker 的了解甚少，若有错误，但愿指出，我会学习、改正。
• 若是有时间，我会再折腾一下其余的玩法 :]

Reference

• 基于 Docker 搭建 Hadoop 集群之升级版

也欢迎您关注个人微博 @萌面大道V & 简书