识别二维码报名活动mysql
8月19日,来自微软、数人云、京东、当当网的四位IT老兵,《一块儿吹响Container+集结号》,看Serverless、DevOps、微服务、CI/CD、分布式调度任务等技术,在各个场景中与Container发生的碰撞与交互。nginx
数人云:DevOps&Docker已经逐步完成布道阶段,在愈来愈多的场景中应用而且得到显著的效果,本文将阐述了二者结合在一块儿的优点以及相关实践。web
Docker经过模块化、平台独立性、高效资源利用和快速安装,颠覆了原有的应用部署交付等方法,帮助DevOps更好地落地,二者结合的优点有:sql
快速交付docker
实时更新应用数据库
版本可靠设计模式
提升质量安全
敏捷环境服务器
敏捷开发基于适应性应用开发、持续改进、持续交付,所以DevOps的目标是在应用交付的各个团队之间创建协做,并使应用交付过程自动化,从而不断地测试、部署和监控新发布的版本。网络
DevOps将开发和运维协调在一块儿,寻求自动化过程以保证应用的质量,经过DevOps模式,Docker能够构建从GitHub代码仓库到应用部署的一个持续交付的通道,从GitHub代码仓库到应用部署。
Docker容器经过镜像运行,能够在本地或者存储库(如Docker Hub)上使用,假设做为一个用例,MySQL数据库或其余数据库提供的新版本常用小BUG或补丁进行修复,如何在没有延迟的状况下为终端用户提供新版本?
Docker镜像与代码存储库相关联——一个GitHub代码仓库或其余一些存储库,如AWS coUNK mit,若开发人员从GitHub代码仓库构建Docker镜像,并使其在Docker Hub到最终用户,若是最终用户将Docker镜像部署为容器,那么会有如下几个单独运行的阶段:
1)将GitHub代码仓库构建到Docker镜像中(使用Docker构建命令)
2)测试Docker镜像(使用Docker run命令)
3)上传Docker镜像到Docker
Hub(使用Docker推送命令)
4)终端用户下载Docker镜像(使用Docker pull命令)
5)终端用户运行一个Docker容器(使用Docker run命令)
6)终端用户部署一个应用(如,使用AWS弹性Beanstalk)
7)终端用户监控应用
当新的MySQL数据库在短期内(可能仅仅一天),出现新的BUG,须要将过程重复。
但DevOps模式能够用于Docker镜像从GitHub到部署,且不须要用户或管理员进行干预。
DevOps的设计模式以持续集成、持续测试、持续交付和持续部署为中心,自动化、协做和持续监控是DevOps中使用的一些其余设计模式。
【持续集成】
持续集成是不断地将源代码集成到一个新的构建或发布的过程,源代码能够在本地存储中,也能够在GitHub或AWS CodeCommit中。
【持续测试】
连续测试新的构建或发布即持续测试,Jenkins之类的工具为持续测试提供了几个特性:在Jenkins的每一个阶段都有用户去输入,它提供了一些插件,如Docker构建步骤插件,分别测试每一个Docker应用阶段:运行容器、上传镜像、中止容器。
【持续交付】
持续交付为终端用户提供新的构建,以便在生产中部署,对于Docker应用,持续交付包括在Docker Hub或Amazon EC2容器等存储库中提供Docker镜像的每一个新版本/标记。
【持续部署】
持续部署是不断地部署Docker镜像的最新版本,每当一个Docker镜像的新版本/标签可用时,Docker镜像就会被部署到生产环境中,Kubernetes 容器管理器已经提供了一些功能,如滚动更新,无需中断便可将Docker镜像升级到最新的服务,Jenkins滚动更新是自动化的,当Docker镜像的新版本/标签可用时,就会不断更新。
【持续监控】
持续监控能够监控正在运行应用的过程,相似于Sematext能够监控Docker应用,部署Sematext Docker代理来监控Kubernetes的集群指标并收集日志。
【自动化】
对于Docker应用,能够自动安装一些如Kubernetes这种很是复杂的工具,在其1.4版本中包含了名为Kubeadm的新工具,能够在Ubuntu和CentOS上自动安装Kubernetes上,但CoreOS上不支持Kubeadm工具。
【协做】
协做涉及到跨团队的工做和资源共享,如不一样的开发团队能够在GitHub库中开发Docker镜像的不一样版本代码,全部的Docker镜像标签都被构建并不断上传至Docker Hub,Jenkins提供了许多分支渠道项目,用于从GitHub存储库等存储库的多个分支中构建代码。
Jenkins是一种经常使用的自动化和持续交付工具,可用于不断地构建、测试和交付Docker镜像,Jenkins提供了几个能够与Docker一块儿使用的插件,如Docker插件,Docker构建步骤插件,Amazon EC2插件。
使用Amazon EC2插件,可使用云配置为Jenkins的代理服务器动态提供实例。
Docker插件能够用来配置云,在Docker容器中运行Jenkins项目。
Docker构建步骤插件用于测试Docker镜像的各个阶段:构建镜像、运行容器、将镜像Push到 Docker Hub中止并删除Docker。
AWS提供了一些DevOps工具:
CodeCommit是一个相似于GitHub的版本控制服务,用来存储和管理源代码文件,AWS CodeBuild用于构建和测试代码的DevOps工具,须要构建的代码能够从GitHub或coUNK mit持续集成,从CodeBuild中输出的Docker镜像能够上传到Docker Hub,也能够在构建完成时上传到Amazon EC2容器注册中心。
CodeBuild提供持续且自动化的过程用于构建、测试、交付阶段。
Elastic Beanstalk用于在云端部署和扩展Docker应用,提供了自动容量供应、负载均衡、容缩和监控,Beanstalk应用和环境能够从一个打包为ZIP文件的Dockerfile建立,该文件包含其余应用资源,或仅仅来自一个未打包的Dockerfile,或能够在Dockerrun.aws中制定Docker应用的配置,包括Docker镜像和环境变量。Json文件是Dockerrun.aws的例子,列出了多个容器的配置,其中一个用于MySQL数据库,另外一个用户Nginx服务器:
{ "AWSEBDockerrunVersion": 2, "volumes": [ { "name": "mysql-app", "host": { "sourcePath": "/var/app/current/mysql-app" } }, { "name": "nginx-proxy-conf", "host": { "sourcePath": "/var/app/current/proxy/conf.d" } } ], "containerDefinitions": [ { "name": "mysql-app", "image": "mysql", "environment": [ { "name": "MYSQL_ROOT_PASSWORD", "value": "mysql" }, { "name": "MYSQL_ALLOW_EMPTY_PASSWORD", "value": "yes" }, { "name": "MYSQL_DATABASE", "value": "mysqldb" }, { "name": "MYSQL_PASSWORD", "value": "mysql" } ], "essential": true, "memory": 128, "mountPoints": [ { "sourceVolume": "mysql-app", "containerPath": "/var/mysql", "readOnly": true } ] }, { "name": "nginx-proxy", "image": "nginx", "essential": true, "memory": 128, "portMappings": [ { "hostPort": 80, "containerPort": 80 } ], "links": [ "mysql-app" ], "mountPoints": [ { "sourceVolume": "mysql-app", "containerPath": "/var/mysql", "readOnly": true }, { "sourceVolume": "nginx-proxy-conf", "containerPath": "/etc/nginx/conf.d", "readOnly": true } ] } ] }
Beanstalk应用程序部署的监控:
Docker Datacenter提供让企业更容易创建内部CaaS环境,有助于企业应用交付。
Docker Datacenter(DDC)为企业提供了一种方法:可让开发者轻松地部署应用,而没必要担忧从开发到生产的过程当中产生的问题。
CaaS平台提供容器和集群编排,经过为DDC构建云端模板,开发者和IT操做人员能够将Dockerzed应用迁移到云端。
DDC包括Docker Universal Control Plane(UCP)、The Docker Trusted Registry (DTR) , 和The Commercially Supported (CS) Docker Engine 。
UCP是集群管理解决方案,能够安装在本地或虚拟私有云上,UCP公开了标准的Docker API,能够继续使用已知的工具管理集群,如仍然可使用docker info 命令来查看集群的状态:
Containers: 15 Images: 10 ServerVersion: swarm/1.1.3 Role: primary Strategy: spread Filters: health, port, dependency, affinity, constraint Nodes: 2 ucp: <UCP_IP>:<PORT> └ Status: Healthy └ Containers: 20 ucp-replica: <UCP_REPLICA>:<PORT> └ Status: Healthy └ Containers: 10
使用Docker UCP,仍然能够管理基础设施的节点:应用、容器、网络、镜像等,Docker UCP有内置身份验证机制,支持LDAP和Active Directory及基于角色的访问控制(RBAC),确保只有受权用户可以访问并对集群进行更改。
UCP是一个容器化的应用,容许管理一组同一Docker集群的节点,UCP的核心组件是名为UCP代理的全局调度服务,运行后将使用其余CUP组件部署容器。
安全性是开发者在企业采用Docker所面临的最大挑战之一,认识到这一挑战以及企业须要继续在整个网络中简化安全性,Docker引入了Docker Trusted Registry(DTR)。
DTR使用的身份验证机制和Docker UCP相同将其内置,还支持RBAC,容许在必要时实现个性化的访问控制策略。
运行DDC主要有两种选择:部署整个堆栈,包括UCP和DTR在AWS上生成模板,或在Linux服务器上手动操做,在本案例中,将使用Docker CaaS(容器做为服务)提供的第二个选择。
CaaS选项基本上是一个托管的SaaS解决方案,Docker引擎、UCP和DTR由Docker操做,容器节在服务器上运行,本文将连接到AWS环境做为案例,但其实也能够在本地环境中运行。
登陆到您的DDC帐户(能够注册试用Docer Datacenter版本)并在左侧菜单中寻找云设置选项,以下图所示,包含能够连接的支持公有云应用列表,用于建立和托管节点,可用Docker Datacenter进行管理。
选择AWS做为提供商,单击Plug-and-Play图表后,会出现对话框,须要进入Role Delegation ARN(请参阅:https://docs.docker.com/docke...)
连接到AWS环境后,进行基础设施设置,以下图所示:
点击建立后,将被重定向到配置页面——会被要求输入集群的配置参数:
集群名称没有限制,也适用于标签字段,容许提供关于想要建立集群的额外描述。
建议列表也随后出现,做为提供者,必须选择与自身帐户连接的那个,字段自己只须要一个选择,并且不局限于建立托管在不一样提供者的节点集群。
继续选择AWS区域和网络(VPC),若是将VPC默认设置为“Auto”那么全部的集群节点都将部署在一个新的自动建立的VPC中。
Type/Size字段用于配置每一个节点的CPU和RAM数量,IAM角色能够不受影响,并保存默认值“None”剩下要配置的最后两个字段是磁盘大小和节点数量,本文中,设置了10G的磁盘空间并建立了3个节点。
点击启动节点集群后,将重定向到节点集群概览界面,能够跟踪集群的状态,成功部署节点集群,部署的状态就会出如今节点集群的名称下。
再次点击启动节点集群,能看到云提供商发生更改,由于已经与Docker Datacenter相连,全部建立的节点都将在那里托管,能够在云平台上用支持的方式进行监控。(参见Logz.io Docker日志收集器用于集中监控Docker环境的方法:https://logz.io/blog/logz-io-...)
接下来会详细介绍如何跨节点集群部署服务,本文中将使用Nginx:
点击左侧菜单栏中的“服务”,将显示主视图的服务面板,然后点击右上角的“Create”按钮,将被重定向到部署获取权镜像的方式。
除了Jumpstart部分和公共镜像,还有一部分能够定义本身的存储库,从中提取镜像,这里将使用公开可用的镜像。
在搜索Docker Hub区域内的文本框中输入“Nginx”Enter后将看到与之匹配的可用镜像列表,选择第一项。
单击列表项中的“Select”按钮后,将重定向到Settings页面,部署策略对如下事情很是重要:
跨节点之间的负载均衡
当容器崩溃时的选项:自动重启和自动销毁
终止容器时的策略(此操做实际在终止时会破坏全部数据)
自动从新部署选项:当新镜像被推送或构建时自动从新部署服务
为其余面板与端口添加运行命令、内存限制和CPU有关限制,本文实例中保留默认值便可。
然后是Ports部分,能够在这里选择发布哪些端口,并对外部公开(以及哪些不公开),本案例中使用的是80和443。
接下来配置环境变量、和其余服务的连接,如把API做为单独的服务部署,NGINX服务器将请求重定向到API服务时,这些连接是有用的。
完成后,能够点击“建立和部署“按钮,将会重定向到服务概览页面,能够看到部署状态,前面步骤中输入的配置概述、容器、连接、环境变量,以及用于访问NGINX服务器的DSN节点等等。
若是单击节点中提供的连接,则会看到Nginx欢迎页面。
如前所述,除了链接AWS帐户外,还支持内部节点,但都须要安装支持的操做系统,单击“在节点集群中自带节点”按钮,并在服务器中键入命令(在模式窗口内提供),并在数据中心内执行相似节点的操做。
原文做者:
Deepak Vohra、Daniel Berman
原文连接:
http://logz.io/blog/docker-da...
https://www.toadworld.com/pla...