【技术解析】如何用Docker实现SequoiaDB集群的快速部署

1. 背景

以Docker和Rocket为表明的容器技术如今正变得愈来愈流行，它改变着公司和用户建立、发布、运行分布式应用的方式，在将来5年将给云计算行业带来它应有的价值。它的诱人之处在于：

1）资源独立、隔离

资源隔离是云计算平台的最基本需求。Docker经过Linux namespace, cgroup限制了硬件资源与软件运行环境，与宿主机上的其余应用实现了隔离，作到了互不影响。不一样应用或服务以“集装箱”（container）为单位装“船”或卸“船”，“集装箱船”（运行container的宿主机或集群 ）上，数千数万个“集装箱”排列整齐，不一样公司、不一样种类的“货物”（运行应用所需的程序、组件、运行环境、依赖）保持独立。

2）环境的一致性

开发工程师完成应用开发后build一个docker image，基于这个image建立的container像是一个集装箱，里面打包了各类“散件货物”（运行应用所需的程序、组件、运行环境、依赖）。不管这个集装箱在哪里：开发环境、测试环境、生产环境，均可以确保集装箱里面的“货物”种类与个数彻底相同，软件包不会在测试环境缺失，环境变量不会在生产环境忘记配置，开发环境与生产环境不会由于安装了不一样版本的依赖致使应用运行异常。这样的一致性得益于“发货”（build docker image）时已经密封到“集装箱”中，而每个环节都是在运输这个完整的、不须要拆分合并的“集装箱”。

3）轻量化

相比传统的虚拟化技术（VM），使用docker在cpu, memory, disk IO, network IO上的性能损耗都有一样水平甚至更优的表现。Container的快速建立、启动、销毁受到不少赞誉。

4）Build Once, Run Everywhere

这个特性着实吸引了不少人，“货物”（应用）在“汽车”、“火车”、“轮船”（私有云、公有云等服务）之间迁移交换时，只须要迁移符合标准规格和装卸方式的“集装箱”（docker container），削减了耗时费力的人工“装卸”（上线、下线应用），带来的是巨大的时间人力成本节约。这使将来仅有少数几个运维人员运维超大规模装载线上应用的容器集群成为可能，如同60年代后少数几个机器操做员便可在几小时内连装带卸完一艘万级集装箱船。

容器技术如今也被普遍应用于数据库领域。它的“Build Once, Run Everywhere”的特性大大减小了花在安装配置数据库环境上的时间，由于即便对于从事数据库多年的DBA而言，安装配置数据库环境依旧是一项看似简单但却常常不顺利的工做。固然，容器技术的其余优点也被很好的应用在数据库的使用中。

SequoiaDB做为一款优秀的国产分布式NewSQL数据库，已经获得了愈来愈多用户的承认。本文以Docker为例，着重介绍如何用Dockerfile快速构建SequoiaDB镜像，以及如何利用容器快速搭建和启动SequoiaDB集群供应用系统使用。

2. 构建SequoiaDB镜像

如何安装docker以及配置镜像仓库不是本文的重点，网上有不少相关的技术文章。须要指出的是本文采用阿里云镜像仓库，由于将镜像上传到Docker官方仓库的速度实在不敢恭维。如何注册和使用阿里云镜像仓库，能够参考文章（http://www.jb51.net/article/123101.htm）。

STEP 1：建立Dockerfile，内容以下，只须要几行简单的指令便可

# Sequoiadb DOCKERFILES PROJECT

# --------------------------

# This is the Dockerfile for Sequoiadb 2.8.4

#

# REQUIRED FILES TO BUILD THIS IMAGE

# ----------------------------------

# (1) sequoiadb-2.8.4-linux_x86_64-enterprise-installer.run

# (2) installSDB.sh

#

# HOW TO BUILD THIS IMAGE

# -----------------------

# Put all downloaded files in the same directory as this Dockerfile

# Run:

#      $ sudo docker build -t sequoiadb:2.8.4 .

#

# Pull base image

FROM ubuntu

 

# Environment variables required for this build

ENV INSTALL_BIN_FILE="sequoiadb-2.8.4-linux_x86_64-enterprise-installer.run" \

    INSTALL_SDB_SCRIPT="installSDB.sh" \

    INSTALL_DIR="/opt/sequoiadb"

        

# Copy binaries

ADD $INSTALL_BIN_FILE $INSTALL_SDB_SCRIPT $INSTALL_DIR/

 

# Install SDB software binaries

RUN chmod 755 $INSTALL_DIR/$INSTALL_SDB_SCRIPT \

    && $INSTALL_DIR/$INSTALL_SDB_SCRIPT \

    && rm $INSTALL_DIR/$INSTALL_SDB_SCRIPT

其中installSDB.sh脚本内容以下：

chmod 755 $INSTALL_DIR/$INSTALL_BIN_FILE

$INSTALL_DIR/$INSTALL_BIN_FILE --mode unattended

rm $INSTALL_DIR/$INSTALL_BIN_FILE

echo 'service sdbcm start' >> /root/.bashrc

须要注意的是本例采用Sequoiadb企业版2.8.4，您也能够从巨杉官网下载社区版（选择tar包，下载而后解压），替换本例中的介质名称。

巨杉官网下载地址：http://download.sequoiadb.com/cn/

STEP 2：建立镜像

root用户执行：

docker build -t sequoiadb:2.8.4 .

若是是普通用户，须要使用sudo：

sudo docker build -t sequoiadb:2.8.4 .

STEP3：登录阿里云镜像仓库

docker login --username=xxx registry.cn-hangzhou.aliyuncs.com

其中xxx为您在阿里云注册的帐号。

STEP4：查看本地sequoiadb镜像id

docker images

STEP5：标记本地镜像，将其纳入阿里云仓库

docker tag 04dc528f2a6f registry.cn-hangzhou.aliyuncs.com/508mars/sequoiadb:latest

其中04dc528f2a6f是笔者本地sequoiadb镜像id，新的标记格式有必定要求，registry.cn-hangzhou.aliyuncs.com为阿里云仓库地址，508mars是笔者在阿里云的用户名，sequoiadb是镜像名，latest是tag。

STEP6：提交sequoiadb镜像到镜像库

docker push registry.cn-hangzhou.aliyuncs.com/508mars/sequoiadb:latest

3. 利用容器启动SequoiaDB集群

Docker的网络默认采用bridge模式，采用bridge模式的容器有以下特色：

1）同一宿主机的容器之间能够互相ping通

2）不一样宿主机的容器之间互相ping不一样

可是SequoiaDB集群要求全部节点之间是能够互通的，因此若是运行SequoiaDB的容器跑在不一样宿主机上，docker的默认网络模式显然不合适。有不少种方法能够解决不一样宿主机容器之间的连通性问题，本文只介绍weave虚拟网络这个解决方案，由于weave同时提供了一个DNS server的功能，有了该功能，在利用容器部署SequoiaDB集群时再也不须要修改各个容器内部的/etc/hosts，大大简化了自动化部署的步骤。

STEP1：安装weave网络

curl -s -L git.io/weave -o /usr/local/bin/weave

chmod a+x /usr/local/bin/weave

须要在全部宿主机安装，笔者采用了三台虚拟机做为宿主机：sdb1, sdb2和sdb3。

STEP2：启动weave网络

weave launch

第一次启动时会下载weave镜像。

STEP3：从阿里云仓库下载sequoiadb镜像

docker pull registry.cn-hangzhou.aliyuncs.com/508mars/sequoiadb

STEP4：在全部宿主机建立docker的挂载卷

cd /home/sdbadmin

mkdir -p data/disk1 data/disk2 data/disk3

mkdir -p conf/local

chmod -R 777 data

chmod -R 777 conf

挂载卷的位置能够自定义，但总的来讲须要建立两大类挂载卷，一类用来存放集合数据，如本例中的data/disk1, data/disk2, data/disk3，一类用来存放节点配置信息，如本例中的conf/local。这样即便容器被误删了，依旧能够启动一个新容器来扮演被误删的容器的角色。

STEP5：启动容器

sdb1:

weave stop

weave launch

eval $(weave env)

docker run -dit --name sdbserver1 -p 11810:11810 -v /home/sdbadmin/data:/data -v /home/sdbadmin/conf/local:/opt/sequoiadb/conf/local registry.cn-hangzhou.aliyuncs.com/508mars/sequoiadb

sdb2:

weave stop

weave launch 192.168.17.132

eval $(weave env)

docker run -dit --name sdbserver2 -p 11810:11810 -v /home/sdbadmin/data:/data -v /home/sdbadmin/conf/local:/opt/sequoiadb/conf/local registry.cn-hangzhou.aliyuncs.com/508mars/sequoiadb

sdb3:

weave stop

weave launch 192.168.17.132

eval $(weave env)

docker run -dit --name sdbserver3 -p 11810:11810 -v /home/sdbadmin/data:/data -v /home/sdbadmin/conf/local:/opt/sequoiadb/conf/local registry.cn-hangzhou.aliyuncs.com/508mars/sequoiadb

其中192.168.17.132是sdb1的IP地址，11810是对外暴露的集群访问端口。宿主机存放节点配置信息的卷必须挂到容器的/opt/sequoiadb/conf/local目录，存放表数据的卷能够挂载到用户自定义的目录，可是集群一旦建立后，不可更改。启动容器的时候必须指定机器名，由于在构建完集群后，机器名会被保存在SequoiaDB的系统表中，节点的机器名与系统表中不一致会致使没法加入到集群。在使用weave的场景下，建议使用--name选项，不要使用--hostname设置机器名。后者会阻止weave将机器名添加到DNS服务器，weave会自动根据--name的值来设置机器名，同时在机器名后增长weave.local域名，并添加到的DNS服务器。

STEP6：将建立SequoiaDB集群的脚本拷贝到容器中

docker cp create_cluster.js sdbserver1:/data

create_cluster.js内容以下：

var array_hosts = ["sdbserver1.weave.local", "sdbserver2.weave.local", "sdbserver3.weave.local"];

var array_dbroot = ["/data/disk1/sequoiadb/database","/data/disk2/sequoiadb/database","/data/disk3/sequoiadb/database"];

var port_sdbcm = "11790";

var port_temp_coord = "18888";

var cataloggroup = {gname:"SYSCatalogGroup", gport:"11820", ghosts:["sdbserver1.weave.local", "sdbserver2.weave.local", "sdbserver3.weave.local"]};

var array_coordgroups = [

        {gname:"SYSCoord", gport:"11810", ghosts:["sdbserver1.weave.local", "sdbserver2.weave.local", "sdbserver3.weave.local"]}

];

var array_datagroups = [

        {gname:"dg1", gport:"11830", ghosts:["sdbserver1.weave.local", "sdbserver2.weave.local", "sdbserver3.weave.local"], goptions:{transactionon:true}}

       ,{gname:"dg2", gport:"11840", ghosts:["sdbserver1.weave.local", "sdbserver2.weave.local", "sdbserver3.weave.local"], goptions:{transactionon:true}}

       ,{gname:"dg3", gport:"11850", ghosts:["sdbserver1.weave.local", "sdbserver2.weave.local", "sdbserver3.weave.local"], goptions:{transactionon:true}}

];

var array_domains = [

        {dname:"allgroups", dgroups:["dg1", "dg2", "dg3"], doptions:{AutoSplit:true}}

];

 

println("启动临时协调节点");

var oma = new Oma(array_coordgroups[0].ghosts[0], port_sdbcm);

oma.createCoord(port_temp_coord, array_dbroot[0]+"/coord/"+port_temp_coord);

oma.startNode(port_temp_coord);

 

println("建立编目节点组:"+cataloggroup.ghosts[0]+"   "+cataloggroup.gport+"    "+array_dbroot[0]+"/cata/"+cataloggroup.gport);

var db = new Sdb(array_coordgroups[0].ghosts[0], port_temp_coord);

db.createCataRG(cataloggroup.ghosts[0], cataloggroup.gport, array_dbroot[0]+"/cata/"+cataloggroup.gport);

var cataRG = db.getRG("SYSCatalogGroup");

for (var i in cataloggroup.ghosts) {

        if (i==0) {continue;}

    println("建立编目节点： "+cataloggroup.ghosts[i]+"  "+cataloggroup.gport+"    "+array_dbroot[0]+"/cata/"+cataloggroup.gport);

        var catanode = cataRG.createNode(cataloggroup.ghosts[i], cataloggroup.gport, array_dbroot[0]+"/cata/"+cataloggroup.gport);

        catanode.start();

}

 

println("建立协调节点组");

var db = new Sdb(array_coordgroups[0].ghosts[0], port_temp_coord);

var coordRG = db.createCoordRG();

for (var i in array_coordgroups) {

        for (var j in array_coordgroups[i].ghosts) {

                println("建立协调节点组:"+array_coordgroups[i].ghosts[j]+"    "+array_coordgroups[i].gport+"    "+array_dbroot[0]+"/coord/"+array_coordgroups[i].gport);

                coordRG.createNode(array_coordgroups[i].ghosts[j], array_coordgroups[i].gport, array_dbroot[0]+"/coord/"+array_coordgroups[i].gport);

        }

}

coordRG.start();

 

println("删除临时协调节点")

var oma = new Oma(array_coordgroups[0].ghosts[0], port_sdbcm);

oma.removeCoord(port_temp_coord);

 

println("建立数据节点组")

var db = new Sdb(array_coordgroups[0].ghosts[0], array_coordgroups[0].gport);

var k=0;

for (var i in array_datagroups) {

        var dataRG = db.createRG(array_datagroups[i].gname);

        for (var j in array_datagroups[i].ghosts) {

                println("建立数据节点："+array_datagroups[i].gname+"    "+array_datagroups[i].ghosts[j]+"   "+array_datagroups[i].gport+"    "+array_dbroot[k]+"/data/"+array_datagroups[i].gport+"    "+array_datagroups[i].goptions)

                dataRG.createNode(array_datagroups[i].ghosts[j], array_datagroups[i].gport, array_dbroot[k]+"/data/"+array_datagroups[i].gport, array_datagroups[i].goptions);

        }

        dataRG.start();

        k++;

}

 

println("建立域");

var db = new Sdb(array_coordgroups[0].ghosts[0], array_coordgroups[0].gport);

for (var i in array_domains) {

        println("建立域："+array_domains[i].dname+"   "+array_domains[i].dgroups+"    "+array_domains[i].doptions)

        db.createDomain(array_domains[i].dname, array_domains[i].dgroups, array_domains[i].doptions );

}

STEP7：建立SequoiaDB集群

docker exec sdbserver1 su - sdbadmin -c "sdb -f /data/create_cluster.js"

至此SequoiaDB集群建立并启动完成，后面再启动容器的时候集群会自动启动。

4. 结论

SequoiaDB利用容器技术很好的实现了集群快速部署，大大简化了初学者安装部署的难度。后期笔者还会在SequoiaDB镜像制做上作一些优化，由于目前作出来的镜像有点大，主要根源是采用ADD或COPY命令将安装介质拷贝到Docker容器中会生成一个新的镜像image1，最终生成的镜像image2中虽然删除了安装介质，可是它在image1之上，因此image2的大小依旧包含安装介质。最好采用ADD拷贝tar包（ADD会自动解压）或者采用相似以下的方式：

RUN mkdir -p /usr/src/things \

    && curl -SL http://example.com/big.tar.xz \

    | tar -xJC /usr/src/things \

    && make -C /usr/src/things all

<END>