Centos7 yum安装 Kubernetes 集群详细步骤（安装部署）

时间 2021-02-13

标签 html node python nginx docker vim centos api 安全 bash 栏目 Tomcat 繁體版

原文原文链接

主机名html	ipnode	备注python
k8s_masternginx	192.168.98.18docker	Master&etcdvim
k8s_node1centos	192.168.98.19api	Node1安全
k8s_node2bash	192.168.98.20	Node2

Kubernetes 是goole开源的大规模容器集群管理系统，使用centos7 自带的Kubernetes 组件、分布式键值存储系统etcd 以及flannel 实现Docker容器中跨容器访问。

（集群环境须要ntp时钟一致，由于是云的机器，系统默认有时钟核对）

第一步组件安装

Master节点：

systemctl stop firewalld && sudo systemctl disable firewalld
yum install -y kubernetes etcd docker flannel

Node节点：

systemctl stop firewalld && sudo systemctl disable firewalld
yum install -y kubernetes  docker flannel

第二步配置

节点

运行服务

Master

etcd

kube-apiserver

kube-controller-manager

kube-scheduler

kube-proxy

kubelet

docker

flanneld

node

flanneld

docker

kube-proxy

kubelet

Master:

etcd配置

vi /etc/etcd/etcd.conf

ETCD_NAME=default
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS=http://localhost:2379

apiserver 配置

vi /etc/kubernetes/apiserver

KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"   (apiserver绑定主机的非安全IP地址）
KUBE_API_PORT="--port=8080"                                          (apiserver绑定主机的非安全端口号）
KUBELET_PORT="--kubelet-port=10250"
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.98.18:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=192.168.98.0/24" （虚机同一网段）
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"
KUBE_API_ARGS=""

Kubelet配置

vi /etc/kubernetes/kubelet

KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_PORT="--port=10250"
KUBELET_HOSTNAME="--hostname-override=192.168.98.18"
KUBELET_API_SERVER="--api-servers=http://192.168.98.18:8080"
KUBELET_POD_INFRA_CONTAINER="--pod-infra-Container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"
KUBELET_ARGS=""

config配置

vi /etc/kubernetes/config

KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=0"
KUBE_ALLOW_PRIV="--allow-privileged=false"
KUBE_MASTER="--master=http://192.168.98.18:8080"

scheduler和 proxy 暂时没有用到，就不须要配置

flannel 配置

vi /etc/sysconfig/flanneld

FLANNEL_ETCD="http://192.168.98.18:2379"
FLANNEL_ETCD_KEY="/atomic.io/network"

添加网络：

systemctl enable etcd.service
systemctl start etcd.service
etcdctl mk //atomic.io/network/config '{"Network":"172.17.0.0/16"}'  建立
etcdctl rm //atomic.io/network/config '{"Network":"172.17.0.0/16"}'   删除

Master启动：

for SERVICES in etcd kube-apiserver kube-controller-manager kube-scheduler   kube-proxy  kubelet docker flanneld   ; 
do systemctl restart   $SERVICES; 
systemctl enable $SERVICES; 
systemctl status $SERVICES; 
done;

node配置：

hostnamectl set-hostname k8s_node1/2

Kubelet配置

vi /etc/kubernetes/kubelet

KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_PORT="--port=10250"
KUBELET_HOSTNAME="--hostname-override=192.168.98.19"   (相应节点IP)
KUBELET_API_SERVER="--api-servers=http://192.168.98.18:8080"     （master节点IP）
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"
KUBELET_ARGS=" "

config配置

vi /etc/kubernetes/config

KUBE_LOGTOSTDERR="--logtostderr=true"
KUBE_LOG_LEVEL="--v=0"
KUBE_ALLOW_PRIV="--allow-privileged=false"
KUBE_MASTER="--master=http://192.168.98.18:8080"

flannel 配置

vi  /etc/sysconfig/flanneld  
FLANNEL_ETCD="http://192.168.98.18:2379"
FLANNEL_ETCD_KEY="/atomic.io/network"

node启动

for SERVICES in kube-proxy kubelet docker flanneld; do
        systemctl restart $SERVICES
        systemctl enable $SERVICES
        systemctl status $SERVICES
    done;

查看全部NODE是否正常

kubectl -s 192.168.98.18:8080 get no
kubectl get nodes

访问http://kube-apiserver:port

http://192.168.98.18:8080/ 查看全部请求url

http://192.168.98.18:8080/healthz/ping 查看健康情况

###################################################以上搭建完毕

开始排错：

1，—————–部署nginx测试——————-

nginx-pod.yaml （请注意语法）

apiVersion: v1
kind: Pod
metadata:
 name: nginx-pod
 labels:
  name: nginx-pod
spec:
 containers:
 - name: nginx
   image: nginx
   ports:
   - containerPort: 80

1、开始建立pod

[root@localhost ~]# kubectl create -f /opt/dockerconfig/nginx-pod.yaml 
Error from server (ServerTimeout): error when creating "/opt/dockerconfig/nginx-pod.yaml": 
No API token found for service account "default",retry after the token is automatically created and added to the service account

报错是验证产生的

[root@localhost ~]# vim /etc/kubernetes/apiserver

去掉相应配置

#KUBE_ADMISSION_CONTROL="–admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"
KUBE_ADMISSION_CONTROL="–admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,ResourceQuota"
[root@localhost ~]# systemctl restart kube-apiserver

问题解决

[root@localhost ~]# kubectl create -f /opt/dockerconfig/nginx-pod.yaml 
pod "nginx-pod" created 
[root@localhost ~]#

可是一直卡着
[root@localhost ~]# kubectl get pods

NAME        READY      STATUS              RESTARTS         AGE 
nginx-pod        0/1       ContainerCreating            0          12m

[root@localhost ~]# kubectl get service

NAME         CLUSTER-IP      EXTERNAL-IP       PORT(S)     AGE 
kubernetes        192.168.98.1       <none>        443/TCP    1h

[root@localhost ~]#
主要是经过“kubectl describe pod PodName”指令查看pod发生的事件，从事件列表中能够查找到错误信息。
查状态

[root@master ~]# kubectl describe pod nginx

这个报错，你们都懂的，哈哈。

手动下载：

在工做节点（node）上执行

 docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest
Trying to pull repository registry.access.redhat.com/rhel7/pod-infrastructure ... 
open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory

解决方案

经过提示的路径查找该文件，是个软链接，连接目标是/etc/rhsm，查看没有rhsm

[root@MyCentos7 ca]# cd /etc/docker/certs.d/registry.access.redhat.com/
[root@MyCentos7 registry.access.redhat.com]# ll
总用量 0
lrwxrwxrwx. 1 root root 27 5月  11 14:30 redhat-ca.crt -> /etc/rhsm/ca/redhat-uep.pem
[root@MyCentos7 ca]# cd /etc/rhsm
-bash: cd: /etc/rhsm: 没有那个文件或目redhat-ca.crt -> /etc/rhsm/ca/redhat-uep.pem

安装rhsm（node上）：

yum install *rhsm*

已加载插件：fastestmirror, langpacks

Loading mirror speeds from cached hostfile

* base: mirror.lzu.edu.cn

* extras: mirror.lzu.edu.cn

* updates: ftp.sjtu.edu.cn

base | 3.6 kB 00:00:00

extras | 3.4 kB 00:00:00

updates | 3.4 kB 00:00:00

软件包 python-rhsm-1.19.10-1.el7_4.x86_64 被已安装的 subscription-manager-rhsm-1.20.11-1.el7.centos.x86_64 取代

软件包 subscription-manager-rhsm-1.20.11-1.el7.centos.x86_64 已安装而且是最新版本

软件包 python-rhsm-certificates-1.19.10-1.el7_4.x86_64 被已安装的 subscription-manager-rhsm-certificates-1.20.11-1.el7.centos.x86_64 取代

软件包 subscription-manager-rhsm-certificates-1.20.11-1.el7.centos.x86_64 已安装而且是最新版本

技术分享图片

可是在/etc/rhsm/ca/目录下依旧没有证书文件，因而反复卸载与安装都不靠谱，后来发现你们所谓yum install *rhsm*其实安装的的是python-rhsm-1.19.10-1.el7_4.x86_64和python-rhsm-certificates-1.19.10-1.el7_4.x86_64，可是在实际安装过程当中会有以下提示:

软件包 python-rhsm-1.19.10-1.el7_4.x86_64 被已安装的 subscription-manager-rhsm-1.20.11-1.el7.centos.x86_64 取代

软件包 subscription-manager-rhsm-1.20.11-1.el7.centos.x86_64 已安装而且是最新版本

软件包 python-rhsm-certificates-1.19.10-1.el7_4.x86_64 被已安装的 subscription-manager-rhsm-certificates-1.20.11-1.el7.centos.x86_64 取代

软件包 subscription-manager-rhsm-certificates-1.20.11-1.el7.centos.x86_64 已安装而且是最新版本

罪魁祸首在这里。原来咱们想要安装的rpm包被取代了。而取代后的rpm包在安装完成后之建立了目录，并无证书文件redhat-uep.pem。因而乎，手动下载并生成文件

wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm
rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem

node上手动下载镜像

至此查看状态变为pulling

说明ca 找不到问题解决。

可是发现又出现一个新的DNS问题，解决方案以下：

node执行:

yum remove subscription-manager-rhsm-certificates -y
wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm
rpm -ivh python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm

[root@master ~]#   kubectl get pods
NAME        READY     STATUS    RESTARTS   AGE
nginx-pod   1/1       Running   0          11h

2、建立replicationController （RC）

nginx-rc.yaml

apiVersion: v1

kind: ReplicationController

metadata:

spec:

replicas: 2

selector:

template:

metadata:

labels:

spec:

containers:

- name: nginx-pod

image: nginx

ports:

- containerPort: 80

kubectl create -f nginx-rc.yaml

3、新建 service.

nginx-service.yaml

apiVersion: v1

kind: Service

metadata:

spec:

type: NodePort

ports:

- port: 80

nodePort: 30001

selector:

[root@localdockerconfig]# kubectl create -f nginx-service.yaml 
service "nginx-service" created

访问 node 机器的 30001端口测试成功

http://192.168.98.19:30001

http://192.168.98.20:30001