kubernetes 内网节点部署笔记（一）

时间  2019-12-19
标签 kubernetes 节点 部署 笔记 繁體版
原文   原文链接
在Centos7上部署kubernetes时，碰到不少坑，特别在摸拟在内网部署时，有来自GFW的障碍，有来自Firewalld的阻塞，反正是各类不服，终于慢慢理顺了思路，本身记录一下，防止遗忘。
环境为Centos7,  准备VMWare快照, 快照环境以下：

  • 安装好 CentOS7node

    1
    2
    3
    4
    5
    6
    7
    yum -y install wget vim net-tools traceroute #安装经常使用工具
    yum -y kubernetes flannel #安装kubernetes组件及flannel网络组件
    #如下为kubernetes准备gcr镜像
    systemctl start docker
    docker pull hub.c.163.com /combk8s/pause :0.8.0
    docker tag hub.c.163.com /combk8s/pause :0.8.0 gcr.io /google_containers/pause :0.8.0
    docker rmi hub.c.163.com /combk8s/pause :0.8.0

  • 关机制做快照docker

     

部署思路是：master机器能够访问公网，而且做为网关，其它机器都在内网，所以master机器有两张网卡，其它机器与master机器的内网网卡相联
从快照中克隆4台机器，配置以下：

第一台机器 k8s-master，配置成为访问网关json

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 机器 k8s-master, 此台机器除了做为 master 自己，还承担网关的职能
# VM中公网网卡链接方式：桥接, 对应centos系统中的网卡 eno16777736
# VM中私网网卡链接方式：仅主机模式，对应Centos系统中的网卡 eno33554984
# 因为在 k8s-master 机器中, eno33554984 链接其它机器的内网网卡，因此这张网卡须要标为 ZONE=trusted，确保防火墙不干扰内网数据
 
# eno16777736网卡配置
TYPE= "Ethernet"
NAME= "eno16777736"
UUID= "8b130f48-94d8-4d4c-a6b0-128a36448a6a"
DEVICE= "eno16777736"
IPADDR= "192.168.206.30"
PERFIX= "24"
GATEWAY= "192.168.206.1"
DNS1= "192.168.205.12"
ONBOOT= "yes"
 
# eno33554984网卡配置
TYPE= "Ethernet"
NAME= "eno33554984"
DEVICE= "eno33554984"
IPADDR= "192.168.127.1"
PERFIX= "24"
ONBOOT= "yes"
ZONE=trusted
 
#开启 k8s-master的路由功能
echo "net.ipv4.ip_forward=1" >> /etc/sysctl .conf
sysctl -p
 
#容许SNAT转发上网
firewall-cmd --permanent --zone=public --add-masquerade
firewall-cmd --reload


第二台机器 k8s-etcd，安装ETCD服务vim

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-etcd，此台机器承担etcd存储服务，仅有一张网卡
# VM中私网网卡链接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
 
# eno16777736网卡配置
TYPE= "Ethernet"
NAME= "eno16777736"
DEVICE= "eno16777736"
IPADDR= "192.168.127.2"
PERFIX= "24"
GATEWAY= "192.168.127.1"
DNS1= "192.168.205.12"
ONBOOT= "yes"
 
#安装etcd
yum -y install etcd
#修改ETCD配置
vim /etc/etcd/etcd .conf
ETCD_LISTEN_CLIENT_URLS= "http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS= "http://192.168.127.2:2379"
 
#接下来，为flannel网络产生配置文件，该配置文件用来设置kubernetes中虚拟子网的网段
vim flannel-config.json #文件内容以下
{
   "Network" : "10.0.0.0/16" ,
   "SubnetLen" :24,
   "Backend" :{
     "Type" : "vxlan" ,
     "VNI" :1
   }
}
 
#将配置文件存储到ETCD对应的键上
etcdctl set atomic.io /network/config < flannel-config.json


第一台机器 k8s-master，配置成为Kube-mastercentos

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 机器 k8-master，此台机器承担kube-master服务
# kube-master服务主要包含如下组件
# 1. kube-apiserver
# 2. kube-controller-manager
# 3. kube-scheduler
# 4. flannel 网络
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD= "http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY= "/atomic.io/network"
# 启动flannel网络，若是以前已经启动了docker，须要先关闭docker
systemctl enable flanneld
systemctl start flanneld
 
# 配置 kube-apiserver
vim /etc/kubernetes/apiserver
KUBE_API_ADDRESS= "--address=0.0.0.0"
KUBE_ETCD_SERVERS= "--etcd-servers=http://192.168.127.2:2379"
KUBE_SERVICE_ADDRESSES= "--service-cluster-ip-range=10.0.0.0/16"
KUBE_ADMISSION_CONTROL= "--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
# 因为是部署在内网，因此KUBE_ADMISSION_CONTROL中去掉了ServiceAccount的鉴权方式
 
# 接下来启动服务
systemctl enable kube-apiserver kube-controller-manager kube-scheduler
systemctl start kube-apiserver kube-controller-manager kube-scheduler


第三台机器 k8s-node1，配置成为Kubelet节点api

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-node1，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡链接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
# eno16777736网卡配置
TYPE= "Ethernet"
NAME= "eno16777736"
DEVICE= "eno16777736"
IPADDR= "192.168.127.3"
PERFIX= "24"
GATEWAY= "192.168.127.1"
DNS1= "192.168.205.12"
ONBOOT= "yes"
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD= "http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY= "/atomic.io/network"
 
#hostname 配置
hostnamectl set - hostname k8s-node1
 
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER= "--master=http://192.168.127.1:8080"
   
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS= "--address=0.0.0.0"
KUBELET_HOSTNAME= "--hostname-override=k8s-node1"
KUBELET_API_SERVER= "--api-servers=http://192.168.127.1:8080"
 
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


 

第四台机器 k8s-node2，配置成为Kubelet节点bash

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# 机器 k8s-node2，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡链接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
  
# eno16777736网卡配置
TYPE= "Ethernet"
NAME= "eno16777736"
DEVICE= "eno16777736"
IPADDR= "192.168.127.4"
PERFIX= "24"
GATEWAY= "192.168.127.1"
DNS1= "192.168.205.12"
ONBOOT= "yes"
  
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD= "http://192.168.127.2:2379"  
FLANNEL_ETCD_KEY= "/atomic.io/network"
  
#hostname 配置
hostnamectl set - hostname k8s-node2
  
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER= "--master=http://192.168.127.1:8080"
  
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS= "--address=0.0.0.0"
KUBELET_HOSTNAME= "--hostname-override=k8s-node2"
KUBELET_API_SERVER= "--api-servers=http://192.168.127.1:8080"
  
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


验证节点是否可用，在k8s-master上执行命令服务器

 

1
2
3
4
[root@k8s-master ~] # kubectl get node
NAME        STATUS    AGE
k8s-node1   Ready     3h
k8s-node2   Ready     3h


 
 
 
 



相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程