Kebernetes 学习总结(11) K8s 网络模型-canal策略控制(3)

时间 2019-11-06

标签 kebernetes 学习总结 k8s 网络模型 canal 策略控制栏目系统网络繁體版

原文原文链接

calico 支持ipip、BGP路由 (属于三层技术) ，使用虚拟路由代替虚拟交换，每一台虚拟路由经过BGP协议传播可达信息（路由）到剩余数据中心。
参考：https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/flannel
将calico 与 flannel整合后的项目就是canal 。能够利用canal的策略来控制Pods之间的隔离。canal 支持的版本 1.10+ ，要求kubernetes 启用CNI插件，必须经过传递--network-plugin=cni参数将kubelet配置为使用CNI网络( kubeadm安装方式中这是默认设置)。要求支持kube-proxy的模式为 iptable ，而ipvs模式须要1.9以上。且确保环境中etcd正常工做，确保k8s设置了--cluster-cidr=10.244.0.0/16和--allocate-node-cidrs=true (kubeadm安装方式这些是默认的，可见/etc/kubernetes/manifests/kube-controller-manager.yaml文件)html

部署canal

1) 部署RBACnode

[root@docker79 manifests]# mkdir calico
[root@docker79 manifests]# cd calico/
[root@docker79 calico]# wget https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/canal/rbac.yaml
--2018-09-11 17:51:19--  https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/canal/rbac.yaml
正在解析主机 docs.projectcalico.org (docs.projectcalico.org)... 35.189.132.21
正在链接 docs.projectcalico.org (docs.projectcalico.org)|35.189.132.21|:443... 已链接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：2469 (2.4K) [application/x-yaml]
正在保存至: “rbac.yaml”

100%[======================================>] 2,469       --.-K/s 用时 0s

2018-09-11 17:51:20 (83.1 MB/s) - 已保存 “rbac.yaml” [2469/2469])

[root@docker79 calico]# kubectl apply -f rbac.yaml
clusterrole.rbac.authorization.k8s.io/calico created
clusterrole.rbac.authorization.k8s.io/flannel configured
clusterrolebinding.rbac.authorization.k8s.io/canal-flannel created
clusterrolebinding.rbac.authorization.k8s.io/canal-calico created
[root@docker79 calico]#

2) 部署canaldocker

[root@docker79 calico]# wget https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/canal/canal.yaml
--2018-09-11 17:51:57--  https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/canal/canal.yaml
正在解析主机 docs.projectcalico.org (docs.projectcalico.org)... 35.189.132.21
正在链接 docs.projectcalico.org (docs.projectcalico.org)|35.189.132.21|:443... 已链接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：11237 (11K) [application/x-yaml]
正在保存至: “canal.yaml”

100%[======================================>] 11,237      --.-K/s 用时 0.001s

2018-09-11 17:51:58 (18.2 MB/s) - 已保存 “canal.yaml” [11237/11237])

[root@docker79 calico]# kubectl apply -f canal.yaml
configmap/canal-config created
daemonset.extensions/canal created
serviceaccount/canal created
customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created
[root@docker79 calico]#

[root@docker79 calico]# kubectl get pods -n kube-system
NAME                                   READY     STATUS              RESTARTS   AGE
canal-cbspc                            3/3       Running             0          1m
canal-cq7kq                            0/3       ContainerCreating   0          1m
canal-kzd46                            3/3       Running             0          1m
coredns-78fcdf6894-pn4s2               1/1       Running             0          14d
coredns-78fcdf6894-sq7vg               1/1       Running             0          14d
etcd-docker79                          1/1       Running             0          14d
kube-apiserver-docker79                1/1       Running             0          14d
kube-controller-manager-docker79       1/1       Running             0          14d
kube-flannel-ds-amd64-29j4r            1/1       Running             0          36m
kube-flannel-ds-amd64-f2fsk            1/1       Running             0          36m
kube-flannel-ds-amd64-g9wlf            1/1       Running             0          36m
kube-proxy-c78x5                       1/1       Running             2          14d
kube-proxy-hhxrh                       1/1       Running             0          14d
kube-proxy-k8hgk                       1/1       Running             0          14d
kube-scheduler-docker79                1/1       Running             0          14d
kubernetes-dashboard-767dc7d4d-hpxbb   1/1       Running             0          7h
[root@docker79 calico]#

canal 策略

Egress 表示出站流量，pod做为客户端访问外部服务，pod地址做为源地址。策略能够定义目标地址或者目的端口
Ingress 表示入站流量，pod地址和服务做为服务端，提供外部访问。pod地址做为目标地址。策略能够定义源地址和本身端口
podSelector 规则生效在那个pod上，能够配置单个pod或者一组pod，能够定义单方向；空 podSelector则选择本命名空间中全部Pod。
使用 kubectl explain networkpolicy.spec 命令能够看到 egress、ingress、podSelector、policyTypes等选项，详细以下：
egress 出站流量规则能够根据ports和to去定义规则。ports下能够指定目标端口和协议。to(目标地址)：目标地址分为ip地址段、pod、namespace
ingress 入站流量规则能够根据ports和from。ports下能够指定目标端口和协议。from(来自那个地址能够进来)：地址分为ip地址段、pod、namespace
podSelector 定义NetworkPolicy的限制范围。直白的说就是规则应用到那个pod上。podSelector: {},留空就是定义对当前namespace下的全部pod生效。没有定义白名单的话默认就是Deny ALL (拒绝全部)
policyTypes 指定哪一个规则生效，不指定就是默认规则。

网络策略控制实例
1) 建立两个namespace ，分别是dev、prod，以下所示：shell

[root@docker79 calico]# kubectl create namespace dev
namespace/dev created
[root@docker79 calico]# kubectl create namespace prod
namespace/prod created

2) 定义ingress-def 的策略，并应用到dev namespace，以下所示：vim

[root@docker79 calico]# vim ingress-def.yaml
[root@docker79 calico]# cat ingress-def.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-ingress
spec:
  podSelector: {}
  policyTypes:
  - Ingress
[root@docker79 calico]#
[root@docker79 calico]# kubectl apply -f ingress-def.yaml -n dev
networkpolicy.networking.k8s.io/deny-all-ingress created
[root@docker79 calico]#
[root@docker79 calico]# kubectl get netpol -n dev
NAME               POD-SELECTOR   AGE
deny-all-ingress   <none>         3m
[root@docker79 calico]#

3) 在 dev 的 namespace中运行pod，并测试访问，以下所示：api

[root@docker79 calico]# vim pod-1.yaml
[root@docker79 calico]# cat pod-1.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod1
spec:
  containers:
  - name: myapp
    image: ikubernetes/myapp:v1
[root@docker79 calico]#
[root@docker79 calico]# kubectl apply -f pod-1.yaml -n dev
pod/pod1 created
[root@docker79 calico]# kubectl get pods -n dev -o wide
NAME      READY     STATUS    RESTARTS   AGE       IP           NODE       NOMINATED NODE
pod1      1/1       Running   0          4s        10.244.2.3   docker78   <none>
[root@docker79 calico]#
[root@docker79 calico]# curl 10.244.2.3  <没法访问>
^C

因为 ingress-def.yaml文件中policyTypes只定义了Ingress ，且Ingress rules没定义，因此默认拒绝全部(入栈)链接。
4) 在prod名称空间中运行pod ，并测试访问，以下所示：网络

[root@docker79 calico]# kubectl apply -f pod-1.yaml -n prod
pod/pod1 created
[root@docker79 calico]# kubectl get pods -n prod -o wide
NAME      READY     STATUS    RESTARTS   AGE       IP           NODE       NOMINATED NODE
pod1      1/1       Running   0          21s       10.244.2.4   docker78   <none>
[root@docker79 calico]# curl 10.244.2.4
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@docker79 calico]#

因为 prod空间并无应用ingress策略，因此运行pod后能够正常访问。
5) 修改dev 名称空间中的 ingress 策略，并测试访问，以下所示：app

[root@docker79 calico]# vim ingress-def.yaml
[root@docker79 calico]# cat ingress-def.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-ingress
spec:
  podSelector: {}
  ingress:
  - {}
  policyTypes:
  - Ingress
[root@docker79 calico]# kubectl apply -f ingress-def.yaml -n dev
networkpolicy.networking.k8s.io/deny-all-ingress configured
[root@docker79 calico]# curl 10.244.2.3
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@docker79 calico]#

因为 ingress-def.yaml文件中policyTypes定义了Ingress，而ingress 字段又定义了容许范围为空(表示容许全部访问)的rule，因此最终能够访问dev namespace 中的pod。
6）恢复ingress策略中的deny操做，并在dev名称空间中添加新的ingress 策略，并指定具体的rule，测试以下操做：curl

[root@docker79 calico]# cat allow-netpol-demo.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-myapp-ingress
spec:
  podSelector:
    matchLabels:
      app: myapp
  ingress:
  - from:
    - ipBlock:
        cidr: 10.244.0.0/16
        except:
        - 10.244.1.2/32
    ports:
    - protocol: TCP
      port: 80
    - protocol: TCP
      port: 443
[root@docker79 calico]# kubectl apply -f allow-netpol-demo.yaml -n dev
networkpolicy.networking.k8s.io/allow-myapp-ingress created
[root@docker79 calico]# curl 10.244.2.3
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@docker79 calico]#

7) 在Prod名称空间添加egress 策略，以下所示：ide

[root@docker79 calico]# vim egress-def.yaml
[root@docker79 calico]# cat egress-def.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-egress
spec:
  podSelector: {}
  policyTypes:
  - Egress
[root@docker79 calico]# kubectl apply -f egress-def.yaml -n prod
networkpolicy.networking.k8s.io/deny-all-egress created
[root@docker79 calico]# kubectl get pods -n prod
NAME      READY     STATUS    RESTARTS   AGE
pod1      1/1       Running   0          23m
[root@docker79 calico]# kubectl exec pod1 -it -n prod -- /bin/sh
/ # ping 10.244.0.2
PING 10.244.0.10 (10.244.0.2): 56 data bytes
^C
--- 10.244.0.2 ping statistics ---
4 packets transmitted, 0 packets received, 100% packet loss
/ # command terminated with exit code 1
[root@docker79 calico]#

因为没有定义egress 的rules ，因此默认deny all，致使prod名称空间中的pod不能出栈。
8) 修改prod 名称空间中的egress策略，并添加 egress rules ，以下所示：

[root@docker79 calico]#  vim egress-def.yaml
[root@docker79 calico]# cat egress-def.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-egress
spec:
  podSelector: {}
  egress:
  - {}
  policyTypes:
  - Egress
[root@docker79 calico]# kubectl apply -f egress-def.yaml -n prod
networkpolicy.networking.k8s.io/deny-all-egress configured
[root@docker79 calico]# kubectl exec pod1 -it -n prod -- /bin/sh
/ # ping 10.244.0.2
PING 10.244.0.2 (10.244.0.2): 56 data bytes
64 bytes from 10.244.0.2: seq=0 ttl=62 time=0.649 ms
64 bytes from 10.244.0.2: seq=1 ttl=62 time=0.507 ms
^C
--- 10.244.0.2 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.507/0.578/0.649 ms
/ # [root@docker79 calico]#

因为egress rule 定义为空，因此容许全部出栈操做。