【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

时间  2019-11-07
标签 Docker篇四 mesos+zookeeper+marathon+docker mesos zookeeper marathon docker 群集 管理 平台 栏目 Apache 繁體版
原文   原文链接

Apache Mesos概述

不一样的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不一样任务每每须要的资源（内存，CPU，网络IO等）不一样，它们运行在同一个集群中，会相互干扰，为此，应该提供一种资源隔离机制避免任务之间由资源争用致使效率降低,考虑到资源利用率，运维成本，数据共享等因素，公司通常但愿将全部这些框架部署到一个公共的集群中，让它们共享集群的资源，并对资源进行统一使用，这样，便诞生了资源统一管理与调度平台,典型的表明就是mesos.java

Apache Mesos工做原理

Apache Mesos采用了master/slave结构来简化设计，将master尽量作的轻量级，仅保存了各类计算框架（Farmemork）和mesos slave的状态信息，这些状态容易在出现故障的时候被重构，除此以外，mesos还可使用zookeeper解决master单点故障问题。python

Mesos Master充当全局资源调度器角色，采用某种策略算法将某个slave上的空闲资源分配给某个Farmework，而各类Farmework则是经过本身的调度器向master注册进行接入Mesos Slave则是收集任务状态和启动各个Farmework和Executor。原理图以下：linux

【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

实验环境

【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

安装Apache Mesos

在每一台服务器上安装Apache Mesos服务，因为mesos安装等待时间较长，本文在实验环境下选择使用一台安装好mesos的虚拟机进行克隆，而后进行后续操做。nginx

一、配置Java环境

  • 因为软件需求，mesos运行环境须要在Linux内核版本为3.10以上才可以使用。

cat /etc/redhat-release //查看Linux版本
uname -r/a //查看内核版本算法

  • 解压jdk软件包

tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local
mv jdk1.8.0_91/ javadocker

  • 配置jdk环境变量

vim /etc/profileapache

export JAVA_HOME=/usr/local/java    //末尾追加
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

source /etc/profilejson

二、安装相关环境包

  • 安装开发工具

yum groupinstall -y "Development Tools"vim

  • 添加apache-maven源,为Mesos提供项目管理和构建自动化工具的支持。

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repocentos

  • 安装相关依赖包

yum install -y apache-maven python-devel zlib-devel libcurl-devel openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel apr-util-devel subversion-devel

  • 配置WANdiscoSVN网络源

vim /etc/yum.repos.d/wandisco-svn.repo

[WANdiscoSVN]
name=WANdisco SVN Repo 1.9
enabled=1
baseurl=http://opensource.wandisco.com/centos/7/svn-1.9/RPMS/$basearch/
gpgcheck=1
gpgkey=http://opensource.wandisco.com/RPM-GPG-KEY-WANdisco
  • 配置Mesos环境变量

vim /etc/profile

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so

三、构建Mesos

wget http://www.apache.org/dist/mesos/0.25.0/mesos-0.25.0.tar.gz

tar zxvf mesos-0.25.0.tar.gz -C /opt/
mv mesos-0.25.0/ /root/
cd /root/mesos-0.25.0
mkdir build
cd /build 建立build为编译安装目录
../configure 执行安装程序

make 等待时间较长（须要服务器保持在线状态）
make check
make install

  • 此处安装好mesos软件后便可克隆主机。

配置单台Mesos-master与Mesos-Slave

Mesos-Master负责维护slave群集的心跳，从slave提取资源信息。配置以前须要作好相应的解析工做。

一、配置Mesos-master

  • 修改主机名称

hostnamectl set-hostname master

vim /etc/hosts

192.168.144.114 master    //此时只作单台master与slave，若遇多台则解析内容须要增长
192.168.144.119 slave1

bash 刷新生效主机名，或者重启服务器

  • 建立master启动命令软链接

ln -sf /root/mesos-0.25.0/build/bin/mesos-master.sh /usr/sbin/mesos-master

  • 启动mesos-master

mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0

--work_dir 指定工做目录
--log_dir  指定日志生成位置
--no-hostname_lookup 不指定域名解析
--ip=0.0.0.0 任意网段都可访问
  • 本地验证访问mesos开启状态，浏览器打开http://192.168.144.114:5050/

【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

二、配置Mesos-slave

  • 修改主机名称

hostnamectl set-hostname slave1
vim /etc/hosts

192.168.144.114 master    //此时只作单台master与slave，若遇多台则解析内容须要增长
192.168.144.119 slave1
  • 建立slave启动命令软链接

ln -sf /root/mesos-0.25.0/build/bin/mesos-slave.sh /usr/sbin/mesos-slave

  • 安装docker，因为slave须要接受master的调度执行容器运行，所以须要安装docker

yum install docker -y
systemctl start docker.service
systemctl enable docker.service

  • 启动slave

mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=192.168.175.132:5050 --no-hostname_lookup --ip=0.0.0.0

--containerizers="mesos,docker"  添加容器参数，使docker的容器能够被配置去执行任务或者执行器。
  • 启动slave后，再次访问mesos-matser，能够看到已有一台slave上线，且可看到详细信息。

【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

配置多台Mesos-Master+Slave+zookeeper+marathon

一、配置多台Mesos-master

  • 配置多台master方式与单台方式相同，惟一区别在于修改域名解析文件/etc/hosts
  • 三台mesos-master配置彻底相同，只是最后启动时须要指定自己IP这点不一样

vim /etc/hosts

192.168.144.114 master
192.168.144.117 master1
192.168.144.118 master2
192.168.144.119 slave1
192.168.144.120 slave2
  • 使用hostnamectl将主机名修改为master、master1和master2
  • mesos-master配置完成暂时不要启动，当后面配置完、启动zookeeper后再启动

二、配置多台Mesos-slave

  • 配置方式如同单台slave配置方式，只有/etc/hosts文件须要添加，而且也须要安装docker，而且启动服务。

vim /etc/hosts

192.168.144.114 master
192.168.144.117 master1
192.168.144.118 master2
192.168.144.119 slave1
192.168.144.120 slave2

三、在全部master上安装zookeeper

  • 每一台master上的zookeeper配置文件都相同，配置文件修改也相同，须要指定有哪一些master安装了zookeeper

tar zxvf zookeeper-3.4.13.tar.gz -C /home/q/

cd zookeeper-3.4.13/

mv conf/zoo_sample.cfg conf/zoo.cfg 注意sample.cfg与zoo.cfg只能存在一个，只能识别一个cfg

  • 在其中一台master上操做

cd /home/q/zookeeper-3.4.13/conf

vim zoo.cfg 

dataDir=/home/q/zookeeper-3.4.6/data            //修改数据存放目录
dataLogDir=/home/q/zookeeper-3.4.6/datalog      //日志文件位置
server.1=192.168.144.114:2888:3888              //server后面跟上区分每一台master标识
server.2=192.168.144.117:2888:3888
server.3=192.168.144.118:2888:3888
  • 将修改好的配置文件传输给其余master，切记先将原有sample配置文件重命名或者删除

scp zoo.cfg 192.168.144.117:/home/q/zookeeper-3.4.13/conf/
scp zoo.cfg 192.168.144.118:/home/q/zookeeper-3.4.13/conf/

  • 为每台master设置标识
//在master主机上操做（/home/q/zookeeper-3.4.13/中）
mkdir data datalog 
echo 1 > data/myid
cat data/myid

//在master1主机上操做（/home/q/zookeeper-3.4.13/中）
mkdir data datalog 
echo 2 > data/myid
cat data/myid 

//在master2主机上操做（/home/q/zookeeper-3.4.13/中）
mkdir data datalog 
echo 3 > data/myid
cat data/myid
  • 启动全部master上的zookeeper
cd /home/q/zookeeper-3.4.13/
//在master主机上启动服务
./bin/zkServer.sh start conf/zoo.cfg 

//在master1主机上启动服务
./bin/zkServer.sh start conf/zoo.cfg

//在master2主机上启动服务
./bin/zkServer.sh start conf/zoo.cfg

//查看leader
./bin/zkServer.sh status
  • 启动全部master和slave上的mesos服务
//master
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.114:2181/mesos --quorum=2   //想要在后台运行后面加上&>/dev/null &便可

//master1
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.117:2181/mesos --quorum=2

//master2
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.118:2181/mesos --quorum=2

-----------------------
//在slave1上
mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --no-hostname_lookup --ip=0.0.0.0

//在slave2上
mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --no-hostname_lookup --ip=0.0.0.0

四、在全部master上安装marathon

  • 下载marathon软件压缩包

wget http://downloads.mesosphere.com/marathon/v0.15.2/marathon-0.15.2.tgz

tar zxvf marathon-0.15.2.tgz -C /home/q/

  • marathon软件包不须要安装，解压后便可使用，全部master上安装好marathon后，每台启动方式以下
  • 每台mastermarathon启动hostname后面跟上本身ip以及zookeeper区域全部服务器ip
./bin/start --hostname 192.168.144.114 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0

./bin/start --hostname 192.168.144.117 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0

./bin/start --hostname 192.168.144.118 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0

查看任务执行状况。

【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

使用mesos与marathon建立docker集群

vim nginx.json

{
"id":"/nginx",
"container":{
"type":"DOCKER",
"docker":{
"image":"nginx",
"network":"HOST",
"parameters":[],
"privileged":false,
"forcePullImage":false
}
},
"cpus":0.1,
"mem":32.0,
"instances":1
}
  • 在其中一台master上新建终端执行

curl -X POST -H "Content-type:application/json" http://192.168.144.114:8080/v2/apps -d@nginx.json

  • 在任务发布指定的slave上使用命令 ps aux | grep docker 查看到nginx正在下载
root       3668  0.0  0.6 121912 12872 pts/0    Sl+  10:20   0:00 /usr/bin/docker-current -H unix:///var/run/docker.sock pull nginx:latest
  • 此时也可去master上的marathon网站去查看任务是已下发执行。

【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

docker images

REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
docker.io/nginx     latest              c82521676580        3 weeks ago         109 MB

docker ps -a

CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
9940ac858a3b        nginx               "nginx -g 'daemon ..."   3 minutes ago       Up 3 minutes                            mesos-0d21cffd-8a12-450d-b6ff-4d4befcdaad0-S1.89e29728-37cb-4ea3-9518-2d9741ba7618

测试其中一台slave

http://192.168.144.119访问到Nginx首页即实验完成。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程