k8s系列---基于canal的网络策略

时间 2019-12-14

标签 k8s 系列基于 canal 网络策略栏目系统网络繁體版

原文原文链接

文章拷自：http://blog.itpub.net/28916011/viewspace-2215383/ 加上本身遇到的问题简单记录html

安装文档：https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/flannelnode

咱们知道flannel只能提供网络通信，而不能提供网络策略。所以，咱们本节学习canal，让它来提供网络策略，来配合flannel使用。 python

前提条件

一、kubelet必须配置为CNI网络插件（即--network-plugin-cni，默认新版本默认就是CNI） vim

二、kube-proxy必须以iptables模式启动，不能以ipvs方式启动； api

三、kube-proxy不能以--masquerade-all方式启动，由于这和calico策略冲突；安全

四、k8s版本至少要v1.3.0 网络

部署canal

一、app

[root@master ~]# kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/canal/rbac.yaml

二、curl

[root@master ~]# kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/canal/canal.yaml

三、ide

[root@master ~]# kubectl get pods -n kube-system -o wide
NAME                                   READY     STATUS    RESTARTS   AGE       IP             NODE
canal-7q4k7                            3/3       Running   0          4m        172.16.1.101   node1
canal-dk2tc                            3/3       Running   0          4m        172.16.1.102   node2
canal-zr8l4                            3/3       Running   0          4m        172.16.1.100   master

我这边部署完成以后，发现flannel的directrouting模式又没了。而后后面去pod内ping的时候发现跨node节点已经不通了。因而又把flannel删了重建，最后正常了。很奇怪的现象。还有就是有个最后他妈的卡住了，canal一直不running状态，node节点磁盘io跑满了，致使该node上的pod都没法链接。最后重启该node，就行了。

创建网络策略：

[root@master ~]# mkdir networkpolicy
[root@master ~]# cd networkpolicy/
[root@master networkpolicy]# vim ingress-def.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-ingress
spec:
  podSelector: {} #pod选择器设置为空，表示选择全部pod，即控制整个名称空间
  policyTypes: 
  - Ingress #表示只对ingress生效，可是咱们上面又把podSelector设置为空，表示默认是ingress拒绝全部的
    #可是咱们这里面又没有加egress，因此默认egress是容许全部的

[root@master networkpolicy]# kubectl apply -f ingress-def.yaml -n dev  #-n表示只对哪一个名称空间生效
networkpolicy.networking.k8s.io/deny-all-ingress created

[root@master networkpolicy]# kubectl get netpol -n dev
NAME               POD-SELECTOR   AGE
deny-all-ingress   <none>         1m

创建个容器，放在dev名称空间里面：

[root@master networkpolicy]# cat pod-a.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod1
spec:
  containers:
  - name: myapp
    image: ikubernetes/myapp:v1

[root@master networkpolicy]# kubectl apply -f pod-a.yaml -n dev
pod/pod1 created

root@master networkpolicy]# kubectl get pods -n dev -o wide
NAME      READY     STATUS    RESTARTS   AGE       IP           NODE
pod1      1/1       Running   0          1m        10.244.2.2   node2

[root@master networkpolicy]# curl   10.244.2.2 #看到咱们在宿主机上访问不到dev名称空间里面的pod10.244.2.2，这是由于dev名称空间里面有个deny-all-ingress网络策略，拒绝任何入站请求致使的。

接下来咱们在prod名称空间里面创建个pod：

[root@master networkpolicy]#  kubectl apply -f pod-a.yaml  -n prod
pod/pod1 created

[root@master networkpolicy]# kubectl get pods -n prod -o wide
NAME      READY     STATUS    RESTARTS   AGE       IP           NODE
pod1      1/1       Running   0          1m        10.244.2.3   node2

[root@master networkpolicy]# curl 10.244.2.4 #咱们看到在宿主机上能够访问到prod名称空间里面的pod
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

[root@master networkpolicy]# cat ingress-def.yaml 
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-ingress
spec:
  podSelector: {} #pod选择器设置为空，表示选择全部pod，即控制整个名称空间
  ingress:
  - {} #空表示容许全部入站访问
  policyTypes:
  - Ingress #表示只对ingress生效
    #可是咱们这里面又没有加egress，因此默认egress是容许全部的

[root@master networkpolicy]# kubectl apply -f ingress-def.yaml -n dev
networkpolicy.networking.k8s.io/deny-all-ingress configured

[root@master networkpolicy]# curl 10.244.2.2 #这时咱们就能在宿主机上访问到dev名称空间里面的容器了
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

咱们接下来再还原会原来的网络策略，即拒绝入全部入站请求：

[root@master networkpolicy]# cat ingress-def.yaml 
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-ingress
spec:
  podSelector: {} #pod选择器设置为空，表示选择全部pod，即控制整个名称空间
  policyTypes:
  - Ingress #表示只对ingress生效
    #可是咱们这里面又没有加egress，因此默认egress是容许全部的

[root@master networkpolicy]# kubectl apply -f ingress-def.yaml -n dev
networkpolicy.networking.k8s.io/deny-all-ingress unchanged

[root@master networkpolicy]# curl 10.244.2.2 #发如今宿主机上又不能访问访问到dev里面的pod了

下面咱们给dev名称空间里面的pod1打个标签叫app=myapp

[root@master networkpolicy]# kubectl label pods pod1 app=myapp -n dev
pod/pod1 labeled

[root@master networkpolicy]# cat allow-netpol-demo.yaml 
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-myapp-ingress
spec:
  podSelector:
    matchLabels:
      app: myapp
  ingress: #入站
  - from:
    - ipBlock:
        cidr: 10.244.0.0/16 #指定网段，容许从10.244.0.0/16入站到pod里面
        except:
        - 10.244.1.2/32 #排除这个地址
    ports:
    - protocol: TCP
      port: 80

[root@master networkpolicy]# kubectl apply -f allow-netpol-demo.yaml -n dev
networkpolicy.networking.k8s.io/allow-myapp-ingress created

[root@master networkpolicy]# kubectl get netpol -n dev
NAME                  POD-SELECTOR   AGE
allow-myapp-ingress   app=myapp      1m
deny-all-ingress      <none>         5h

[root@master networkpolicy]# curl 10.244.2.2 #看到加了allow-myapp-ingress网络策略后，当即就能访问dev里面的pod了
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

上面咱们介绍了ingress入站规则，下面咱们介绍egress出站规则。

[root@master networkpolicy]# cat egress-def.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-egress
spec:
  podSelector: {} #pod选择器设置为空，表示选择全部pod，即控制整个名称空间
  policyTypes:
  - Egress #表示只对egress生效

[root@master networkpolicy]# kubectl apply -f egress-def.yaml -n prod
networkpolicy.networking.k8s.io/deny-all-egress created

[root@master ~]# kubectl get pods -n kube-system -o wide
NAME                                   READY     STATUS    RESTARTS   AGE       IP             NODE
canal-7q4k7                            3/3       Running   0          6h        172.16.1.101   node1
canal-dk2tc                            3/3       Running   0          6h        172.16.1.102   node2
canal-zr8l4                            3/3       Running   0          6h        172.16.1.100   master
coredns-78fcdf6894-2l2cf               1/1       Running   18         24d       10.244.0.46    master
coredns-78fcdf6894-dkkfq               1/1       Running   17         24d       10.244.0.45    master
etcd-master                            1/1       Running   18         24d       172.16.1.100   master
kube-apiserver-master                  1/1       Running   19         24d       172.16.1.100   master
kube-controller-manager-master         1/1       Running   18         24d       172.16.1.100   master
[root@master networkpolicy]# kubectl get pods -n prod
NAME      READY     STATUS    RESTARTS   AGE
pod1      1/1       Running   0          1h
[root@master networkpolicy]# kubectl exec pod1 -it  -n prod -- /bin/sh
/ # ping 10.244.0.45  #看到ping其余名称空间的容器被拒绝，这就是由于网络策略deny-all-egress起的做用，它表示拒绝容器全部出口流量
PING 10.244.0.45 (10.244.0.45): 56 data bytes

[root@master networkpolicy]# cat egress-def.yaml 
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-egress
spec:
  podSelector: {} #pod选择器设置为空，表示选择全部pod，即控制整个名称空间
  egress:
  - {} #表示容许全部egress出去的流量
  policyTypes:
  - Egress #表示只对egress生效

[root@master networkpolicy]# kubectl apply -f egress-def.yaml -n prod

[root@master networkpolicy]# kubectl exec pod1 -it  -n prod -- /bin/sh #看到放行出站后，容器就能够ping通外部的容器了
/ # ping 10.244.0.45
PING 10.244.0.45 (10.244.0.45): 56 data bytes
64 bytes from 10.244.0.45: seq=0 ttl=62 time=0.227 ms
64 bytes from 10.244.0.45: seq=1 ttl=62 time=0.284 ms

咱们为了更安全，咱们能够设置每一个名称空间拒绝全部入站，拒绝全部出站，而后再单独放行。不过，这样也出现一个问题，就是一个名称空间中，全部pod之间也不能通讯了。因此还要加条策略就是容许本名称空间中的pod之间能够互相通讯（放行全部出站目标本名称空间内的全部pod），可是不容许和外部名称空间之间进行通讯。