DevOps研习社:PaaS平台集成解决方案——F5实现k8s环境下应用自动发布

　　关于PaaS平台集成解决方案，做者侧重F5与PaaS（K8S为例）集成的方案，将从管理平面的高可用安全、应用自动发布、蓝绿发布、可视化4点论述。本文详细阐述了观点之一，即应用自动发布。
　　

　　晏顺
　　F5解决方案顾问

　　拥有十多年运营商和金融行业从业经验，2012年加入F5。 熟悉运营商核心网和金融信息系统架构，专一于客户总体架构设计和应用的快速灵捷的交付。主要研究方向为云计算，容器及DevOps。涵盖多云环境下资源的弹性扩展，应用交付的自动化部署，运维自动化；以及云环境中安全高可用架构的实现。具备丰富的数据中心架构设计以及自动化平台对接经验，完成了多家互联网金融企业自动化运维平台的对接上线。
　　Kubernetes设计角度灵活的利于了clusterip实现了集群内部的服务互访，然而针对面向互联网的应用，须要实现基于集群外部的发布。知足DevOps的趋势，须要实现k8s环境下应用的自动发布。
　　Container Connector包含f5-k8s-controller和用户定义的“F5资源”。f5-k8s-controller是一个能够在Kubernetes Pod中运行的Docker容器。 
　　“F5资源”是Kubernetes ConfigMap资源，它将编码数据传递给f5-k8s-controller。这些资源告诉f5-k8s-controller：
　　1.在BIG-IP上配置哪些对象；
　　2.BIG-IP对象所属的Kubernetes服务（分别是ConfigMap中的前端和后端属性）。
　　f5-k8s-controller监视Kubernetes中F5资源的建立和修改。当它发现更改时，它会相应地修改BIG-IP。例如，对于F5 virtualServer资源，CC-Kubernetes执行如下操做：

　
　　下面将演示经过F5 CC（Container Connector）与F5 BIG-IP联动实现业务自动的对外发布。

　　0一、在BIG-IP设备上建立新的partition，命名为kubernetes；
　

　　02建立serviceaccount；
　　kubectl create serviceaccount bigip-ctlr -n kube-system

　　03建立RBAC policy f5-k8s-sample-rbac.yaml，并apply；

　　kind: ClusterRole
　　apiVersion: rbac.authorization.k8s.io/v1beta1
　　metadata:
　　  name: bigip-ctlr-clusterrole
　　rules:
　　- apiGroups:
　　  - ""
　　  - "extensions"
　　  resources:
　　  - nodes
　　  - services
　　  - endpoints
　　  - namespaces
　　  - ingresses
　　  - secrets
　　  verbs:
　　  - get
　　  - list
　　  - watch
　　- apiGroups:
　　  - ""
　　  - "extensions"
　　  resources:
　　  - configmaps
　　  - events
　　  - ingresses/status
　　  verbs:
　　  - get
　　  - list
　　  - watch
　　  - update
　　  - create
　　  - patch
　　---
　　kind: ClusterRoleBinding
　　apiVersion: rbac.authorization.k8s.io/v1beta1
　　metadata:
　　  name: bigip-ctlr-clusterrole-binding
　　  namespace: kube-system
　　roleRef:
　　  apiGroup: rbac.authorization.k8s.io
　　  kind: ClusterRole
　　  name: bigip-ctlr-clusterrole
　　subjects:
　　- kind: ServiceAccount
　　  name: bigip-ctlr
　　  namespace: kube-system

　　kubectl create -f f5-k8s-sample-rbac.yaml。

　　04建立secrect保存admin用户和密码；
　　kubectl create secret generic bigip-login --namespace kube-system --from-literal=username=admin --from-literal=password=admin

　　05建立f5-cc-deployment.yaml，并apply；
　　apiVersion: extensions/v1beta1
　　kind: Deployment
　　metadata:
　　  name: k8s-bigip-ctlr-deployment
　　  namespace: kube-system
　　spec:
　　  replicas: 1
　　  template:

　　kubectl create -f f5-cc-deployment.yaml。
　　建立完成后经过kubectlget pod -n kube-system | grep bigip命令确认CC状态。
　　kubectl get pod -n kube-system | grep bigip
　　k8s-bigip-ctlr-deployment-66977b7bc6-x9rbf   1/1     Running   0          41m

　　使用命令kubectl logs k8s-bigip-ctlr-deployment-66977b7bc6-x9rbf  -n kube-system确认CC处于监听状态。

　　kubectl logs k8s-bigip-ctlr-deployment-66977b7bc6-x9rbf -n kube-system
　　2019/04/29 07:18:46 [INFO] Starting: Version: v1.7.1, BuildInfo: n1279-465125010
　　2019/04/29 07:18:46 [INFO] ConfigWriter started: 0xc000445a10
　　2019/04/29 07:18:46 [INFO] Started config driver sub-process at pid: 12
　　2019/04/29 07:18:46 [INFO] NodePoller (0xc0003b4900) registering new listener: 0x1829650
　　2019/04/29 07:18:46 [INFO] NodePoller started: (0xc0003b4900)
　　2019/04/29 07:18:46 [INFO] Watching ConfigMap resources.
　　2019/04/29 07:18:46 [INFO] Handling ConfigMap resource events.
　　2019/04/29 07:18:46 [INFO] Registered BigIP Metrics
　　2019/04/29 07:18:46 [INFO] Wrote 0 Virtual Server and 0 IApp configs
　　2019/04/29 07:18:47 [INFO] [2019-04-29 07:18:47,333 __main__ INFO] entering inotify loop to watch /tmp/k8s-bigip-ctlr.config215984094/config.json

　　在k8s上建立应用，共包含三个yaml文件my-frontend-deployment.yaml，my-frontend-configmap.yaml，my-frontend-service.yaml；

　　my-frontend-deployment.yaml

　　apiVersion: extensions/v1beta1
　　kind: Deployment
　　metadata:
　　  name: my-frontend
　　spec:
　　  replicas: 2
　　  template:
　　    metadata:
　　      labels:
　　        run: my-frontend
　　    spec:
　　      containers:
　　      - image: "chen23/f5-demo-app"
　　        env:
　　        - name: F5DEMO_APP
　　          value: "frontend"
　　        - name: F5DEMO_BACKEND_URL
　　          value: "http://my-backend/"
　　        imagePullPolicy: IfNotPresent
　　        name: my-frontend
　　        ports:
　　        - containerPort: 80
　　          protocol: TCP

　　my-frontend-configmap.yaml

　　kind: ConfigMap
　　apiVersion: v1
　　metadata:
　　  name: my-frontend
　　  namespace: default
　　  labels:
　　    f5type: virtual-server
　　data:
　　  schema: "f5schemadb://bigip-virtual-server_v0.1.7.json"
　　  data: |-
　　    {
　　      "virtualServer": {
　　        "frontend": {
　　          "balance": "round-robin",
　　          "mode": "http",
　　          "partition": "kubernetes",
　　          "virtualAddress": {
　　            "bindAddr": "10.1.10.81",
　　            "port": 80
　　          }
　　        },
　　        "backend": {
　　          "serviceName": "my-frontend",
　　          "servicePort": 80,
　　          "healthMonitors": [{
　　          "interval": 30,
　　          "protocol": "http",
　　          "send": "HEAD / HTTP/1.0\r\n\r\n",
　　          "timeout": 91
　　          }]
　　        }
　　      }
　　    }

　　my-frontend-service.yaml

　　apiVersion: v1
　　kind: Service
　　metadata:
　　  name: my-frontend
　　  labels:
　　    run: my-frontend
　　spec:
　　  ports:
　　  - port: 80
　　    protocol: TCP
　　    targetPort: 80
　　  type: NodePort
　　  selector:
　　    run: my-frontend

　　kubectl create -f my-frontend-deployment.yaml
　　kubectl create -f my-frontend-configmap.yaml
　　kubectl create -f my-frontend-service.yaml。

　　建立完成后查看service，该服务监听在31752端口。

　　kubectl get svc
　　NAME          TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
　　kubernetes    ClusterIP   10.96.0.1        <none>        443/TCP        125d
　　my-frontend   NodePort    10.109.185.196   <none>        80:31752/TCP   47m

　　07检查BIG-IP上配置，workernode 10.1.1.175的端口31752自动添加到BIG-IP配置中。

　　经过浏览器访问能够打开页面：