项目容器化改造心得
一.概述
1.1 背景
近来和同事共同开发的迁移平台项目想进行容器化改造，顺应大趋势往容器化这边靠，项目前端平台利用Django开发，后端Restful API利用高性能Web框架Tornado完成，Agent端利用Flask开发，各取了几个大Python框架的优点。前端
以前CI/CD测试环境以前用的是Gitlab CI，master提交merge request后自动构建部署，正式环境经过Jenkins pipeline手动拉去release 部署，容器化改造将Jenkins托管在Kubernetes之上，Master接受job请求，动态生成slave来完成job任务。node
此文记录了容器化改造中本身遇到的一些心得，可能本身研究的还不够，如下均为我的理解，大佬不喜勿喷，在本次利用Kubernetes将项目容器化过程当中，决定python项目有点大材小用，可是经过此次改造，理解了很多容器化的特征，不断的提高本身IT技术，丰富本身的技能栈。python
1.2 容器化改造优点
- 更省：极大的资源利用效率， 最大限度榨取和共享物理资源，多项目更能体现出容器化多优点，节约部署IT成本。
- 更快：秒级启动，实现业务系统更快的开发迭代 和 交付部署。
- 弹性：可根据业务负载进行弹性容器伸缩，弹性扩展。
- 方便：容器化业务部署支持蓝绿/灰度/金丝雀等发布，回滚，更加灵活方便。
- 灵活：监控底层node节点健康状态，灵活调度至最优节点部署。
- 强一致性：容器将环境和代码打包在镜像内，保证了测试与生产环境的强一致性。
1.3 容器化改造的要求
- 开发人员熟悉Docker虚拟化技术，熟练编写Dockerfile。
- 熟悉kubernetes容器化编排系统， 熟悉各组件资源清单编写。
- 开发须要考虑后期容器编排部署的需求来组织结构和编写代码。
- 部署人员须要熟悉kubernetes资源清单各参数含义，须要整体把控架构中到从上到下架构。
- 考虑高可用架构和rbac安全策略，外部流量引入及后期扩容伸缩。
二.工具
2.1 云原生生态
一入云原生深似海，下图为咱们更好的全局性了解云原生生态。mysql
2.2 工具应用
本次项目改造用到的一些工具和应用与你们分享(后期有时间将各个工具应用单独写出来分享)git
- 代码托管
Gitlab服务器进行代码托管，及gitlab ci/cd，后期能够将其托管至kubernetes集群之上。web
- 私有镜像托管
利用Harbor进行镜像存储，审计管理及镜像检查,后期可托管至kubernetes之上。redis
- 集群管理
kubernetes-dashboard部署，web界面方便各组件查看管理，简单容器terminal管理，日志分享查看。sql
Rancher部署，导入私有化kubernetes平台，方便集群管理及app安装部署。docker
- 存储管理
ceph到mgr分布式集群web界面管理shell
minio/chartmuseum对象存储，方便chart存储管理。
- 集成发布
jenkins进行持续集成，持续发布，后期能够将其托管至kubernetes集群之上。
- 日志监控
efk进行kubernetes集群容器日志监控管理，f为flutend容器化监控利器。
- helm仓库管理
kubeapps进行chart，registry 添加，方便helm安装部署。
- 容器内app监控
Prometheus + grafana，各个app内进行export出来，进行单个app到matric监控。
- 下图为导航页，直观的展现用的这些工具
三.改造的要求
3.1 程序要求
3.1.1 项目结构
- 将配置文件单首创建config文件夹，方便后期kubernetes建立configmap进行资源映射
- 若是后期部署为deployment无状态应用，应该将共享的数据存储单首创建目录，方便后去volume挂载
- 项目结果目录下单首创建deploy目录存放
例如次项目，分为建立configmap/deployment/service已经拉去私有仓库代码的Secret。
- 项目下均适用entrypoint.sh 为容器入口，最后添加
exec "$@"，方便后期添加配置扩展
3.1.2 代码要求
- 配置文件尽量使用yaml语言编写，方便后期加载为configmap中便于修改读写。
- 因为后期方便容器监控，采用Fluentd配合EL进行集群及应用监控，监控容器目录为/var/lib/docker/containers/*.log，须要将日志输出到stdout，因此对于须要监控到日志，能够定向到标准输出/标准错误输出已经日志文件内。
3.2 架构要求
3.2.1 基础资源
- 计算
利用云服务器搭建部署kubernetes集群，提供计算与内存资源。
- 存储
须要利用云服务器磁盘部署Ceph分布式存储系统，为kubernetes提供底层存储资源。
- 网络
前段须要LB，为应用代理到NodePort，kubernetes集群内部使用flannel网络，
node到node以前经过vpc私有网络通信
-
- 容器间通讯：同一个 POD 内多个容器间的通讯，使用 lo 网卡通讯
- POD间通讯：POD IP 直接与 POD IP 通讯
- POD 与 Service：POD IP 直接与 Cluster IP
- Service 与集群外部客户端的通讯，ingress、NodePort、Loadbacer
3.2.2 流量引入
- 须要结合部署在公有化/私有化，仍是裸机上，须要提早规划好前段时云LB就能够借助其部署证书，七层加载证书。
- 若是没有云产品就须要考虑ingress流量引入集群加载证书。
四.项目部分示例
4.1 存储类
利用ceph集群，构建存储类，同时利用CephFS来解决跨node挂载的应用。
- 存储类ceph-storageclass.yaml
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: ceph-rdb provisioner: ceph.com/rbd reclaimPolicy: Retain parameters: monitors: 10.xx.xx.xx:6789 pool: kube adminId: admin adminSecretName: ceph-admin-secret adminSecretNamespace: kube-system userId: kube userSecretName: ceph-client-secret userSecretNamespace: kube-system fsType: xfs imageFormat: "2" imageFeatures: "layering"
- ceph 认证ceph-secret.yaml
apiVersion: v1 kind: Secret metadata: name: ceph-admin-secret namespace: kube-system type: "kubernetes.io/rbd" data: # ceph auth get-key client.admin |base64 key: QVFCRitmUmM1c1FxxxxxxxxxxxxxxxxxxxxxxxxHFoQVh6NlRvQ2c9PQ==
- 对于共享目录
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: go2cloud-api-pvc
namespace: default
spec:
storageClassName: "ceph-rdb"
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 8Gi
- 配置文件经过configmap挂载
apiVersion: v1
data:
config.yaml: |
---
DB_ENGINE: mysql
DB_HOST: mariadb-cluster-mariadb-master.default.svc.cluster.local
DB_PORT: 3306
DB_USER: go2clouduser
DB_PASSWORD: go2xxxxxxxxx
DB_NAME: go2cxxxxxxxx
# Use Redis as cache
# Redis配置,链接replication的master节点
REDIS_HOST: redis-cluster-redis-ha-announce-0.default.svc.cluster.local
REDIS_PORT: 6379
REDIS_PASSWORD: go2cloxxxxxxxx
# go2cloud-platform 监听端口
HTTP_LISTEN_PORT: 8088
# callback url
API_MIGRATE_SERVER_URL: http://go2cloud-api-service.default.svc.cluster.local:8004
PLATFORM_CALLBACK_URL: http://go2cloud-platform-service.default.svc.cluster.local:8088
kind: ConfigMap
metadata:
name: go2cloud-platform-cm
4.2 应用相关资源
-
- go2cloud-platform-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: go2cloud-platform
namespace: default
spec:
selector:
matchLabels:
# 匹配下面选择的template 中的label.app名称
app: go2cloud-platform
replicas: 2
template:
metadata:
labels:
app: go2cloud-platform
release: latest
spec:
imagePullSecrets:
- name: registry-secret
containers:
- name: go2cloud-platform
image: 10.234.xxx.xxx/go2cloud/go2cloud-plaxxxxx:latest
imagePullPolicy: IfNotPresent
ports:
- containerPort: 8088
protocol: TCP
volumeMounts:
# 必须匹配volumes的名称
- name: go2cloud-platform-config
mountPath: /data/config
readOnly: true
resources:
requests:
cpu: 250m
memory: 520Mi
limits:
cpu: 500m
memory: 1024Mi
livenessProbe:
tcpSocket:
port: 8088
initialDelaySeconds: 20
volumes:
# 定义逻辑卷的名称
- name: go2cloud-platform-config
configMap:
# 使用configmap资源的名称
name: go2cloud-platform-cm
items:
# 使用configmap中到那个key
- key: config.yaml
# 使用configmap中到key映射到容器中到文件名称
path: config.yaml
mode: 0644
-
- go2cloud-platform-service.yaml
apiVersion: v1
kind: Service
metadata:
name: go2cloud-platform-service
namespace: default
spec:
selector:
app: go2cloud-platform
type: NodePort
ports:
- name: http
nodePort: 30020
port: 8088
targetPort: 8088
protocol: TCP
-
- registry-secret.yaml
apiVersion: v1 kind: Secret metadata: name: registry-secret type: kubernetes.io/dockerconfigjson data: .dockerconfigjson: ewoJImF1dGhzIjogewoJCSIxMC4yMzQuMi4yMTgiOiB7CgkJCSJhdXRoIjogIllXNWphRzVsZERwWWVIcDRRRGM0T1E9PSIKCQl9Cgl9LAoJIkh0dHBIZWFkZXJzIjogewoJCSJVc2Vyxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
-
- Dockerfile
FROM python:latest
LABEL maintainer="kaliarch"
ENV BASE_ROOT="/data"
ADD . ${BASE_ROOT}
RUN pip install --default-timeout=100 -r ${BASE_ROOT}/requirements/requirements.txt \
&& ln -s ${BASE_ROOT}/entrypoint.sh /bin/entrypoint.sh
EXPOSE 8088/tcp
ENTRYPOINT ["/bin/sh","/bin/entrypoint.sh"]
CMD ["python","/data/runserver","start","all"]
-
- entrypoint.sh
#!/bin/sh # config go2cloud-api configfile exec "$@"
五.反思
- 我的决定云原生后期回成为大趋势，提早掌握容器化编排技术，不至于技术栈落伍。
- 充分利用云生态应用切合自身项目特色进行容器化改造会快速很多。
- 以为云原生是未来的大趋势，尽快入门，拥抱云原生。
相关文章
- 1. 项目容器化改造心得
- 2. (六)：大型项目容器化改造
- 3. Docker---大型项目容器化改造
- 4. 项目容器化改造（二）Jenkins打包项目jar包
- 5. Visual Studio容器项目工程化心得
- 6. 项目改造过程与心得体会-1-架构
- 7. 项目心得
- 8. 业务容器化改造（二）
- 9. vue项目心得
- 10. damai项目心得
- 更多相关文章...
- • Mozilla 项目 - 浏览器信息
- • Maven 项目模板 - Maven教程
- • Docker容器实战(七) - 容器眼光下的文件系统
- • Docker容器实战(六) - 容器的隔离与限制
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 项目容器化改造心得
- 2. (六)：大型项目容器化改造
- 3. Docker---大型项目容器化改造
- 4. 项目容器化改造（二）Jenkins打包项目jar包
- 5. Visual Studio容器项目工程化心得
- 6. 项目改造过程与心得体会-1-架构
- 7. 项目心得
- 8. 业务容器化改造（二）
- 9. vue项目心得
- 10. damai项目心得