Kubernetes 动手系列想经过一系列动手的 demo ，来帮助读者快速的理解上手 Kubernetes 一些运行机制。会包括以下内容：node

手动部署git
开发一个 operatorgithub
开发 webhookweb
开发 chart 包后端
开发 schedulerapi
开发 stroagecalss服务器
开发 cloud provider微信
virtual kubelet网络

本文要求读者对 Kubernetes 的架构和使用有基本的了解。架构

本文经过手工简单部署一个 K8S 集群来了解 K8S 总体的架构，以及内部组件的关系。

本文介绍的部署过程主要是为了让读者可以理解 K8S 的运行原理，为了简化流程，这里不涉及高可用、高性能等解决方案。

安装说明：

本文仅仅是在两个节点上部署全部的组件，如图所示包括 MASTER 和 NODE
全部的组件都安装在 /opt/{component} 的根目录下，包括二进制文件和配置文件
另外组件进程由 systemd 来管理，其配置文件在 /etc/systemd/system/{component}.service

本文全部的安装代码已经放在 https://github.com/bilc/kubernetes-deploy，供你们参考。

1 前期准备

配置环境变量文件 environment，以下，只修改 MASTER_IP 和 NODE_IP 便可。



export MASTER_IP=10.1.0.86export NODE_IP=10.1.0.87#serviceexport SERVICE_CIDR="10.254.0.0/16"            #service使用的虚拟IPexport CLUSTER_KUBERNETES_SVC_IP="10.254.0.1" #apiserver的service，会被pod访问export NODE_PORT_RANGE="30000-32767" #nodeport类型的service分配的端口#for coredns & kubeletexport CLUSTER_DNS_DOMAIN="cluster.local" #域名后缀export CLUSTER_DNS_SVC_IP="10.254.0.2" #dnsserver地址#podexport CLUSTER_CIDR="172.30.0.0/16" #pod网络分配的地址段

主要须要配置免密登陆和下载二进制文件，这里的 download.sh 下载的文件可能须要翻墙解决。

ssh-keygen #生成免密登陆的公私钥. envrionment./ssh-nopwd.sh #设置免密登陆cd cert./download.sh #这里须要自行翻墙解决./install.sh #在目标机上建立目录和上传文件cd -

2 证书生成

首先介绍一下证书文件类型：

ca.pem, ca-key.pem：证书颁发机构本身的证书和私钥
*.pem, *-key.pem：该模块的证书和私钥
*.kubeconfig：访问 K8S 的配置文件，内部包括集群的 apiserver、ca、本身的证书和私钥，做用等同配置单独公私钥等参数。

在签发证书时，注意做为被访问节点时，须要将本身被访问全部入口 IP 和域名都放到证书 hosts 字段。

命令	参数做用	参数
kube-apiserver	访问etcd	--etcd-cafile=${DIR}/ca.pem \\ --etcd-certfile=${DIR}/kubernetes.pem \\ --etcd-keyfile=${DIR}/kubernetes-key.pem \\
访问kubelet	--kubelet-certificate-authority=${DIR}/ca.pem \\ --kubelet-client-certificate=${DIR}/kubernetes.pem \\ --kubelet-client-key=${DIR}/kubernetes-key.pem \\	apiserver 对 kubelet 的依赖主要是须要 proxy 一些命令例如 kubectl exec
被其余组件访问	--client-ca-file=${DIR}/ca.pem \\ --tls-cert-file=${DIR}/kubernetes.pem \\ --tls-private-key-file=${DIR}/kubernetes-key.pem \\
secret资源的加密	--service-account-key-file=${DIR}/service-account.pem	须要与kube-contrller manager 配合使用
kube-controller-manager	secret资源的加密	--service-account-private-key-file= /opt/kube-controller-manager/service-account-key.pem \\
访问kube-apiserver	--kubeconfig=/opt/kube-controller-manager/kube-controller-manager.kubeconfig \\
为pod内访问集群签发证书	--cluster-signing-cert-file=/opt/kube-controller-manager/ca.pem \\ --cluster-signing-key-file=/opt/kube-controller-manager/ca-key.pem \\
kube-scheduler	访问kube-apiserver	kubeconfig: "/opt/kube-scheduler/kube-scheduler.kubeconfig"
kubelet	访问kube-apiserver	--kubeconfig=/opt/kubelet/${NODE_IP}.kubeconfig \\
被kube-apiserver访问	tlsCertFile: "/opt/kubelet/${NODE_IP}.pem" tlsPrivateKeyFile: "/opt/kubelet/${NODE_IP}-key.pem" clientCAFile: "/opt/kubelet/ca.pem"
etcd	被客户端访问	--trusted-ca-file=/opt/etcd/ca.pem \\ --cert-file=/opt/etcd/etcd.pem \\ --key-file=/opt/etcd/etcd-key.pem \\
访问peer和被peer访问	--peer-trusted-ca-file=/opt/etcd/ca.pem \\ --peer-cert-file=/opt/etcd/etcd.pem \\ --peer-key-file=/opt/etcd/etcd-key.pem \\

生成证书的示例以下：

全部执行命令执行以下：

. environmentcd cert. ./install.shcd -

3 部署ETCD

生产环境的 etcd 须要部署三节点或者五节点，这里为了节省资源和方便部署，只部署单节点便可。

4 部署MASTER

这里不一一列举全部参数意义，若是须要能够参考官网，几个重点参数以下：

部署 kube-apiserver 主要的参数除了一些证书配置，还包括：

--service-cluster-ip-range=${SERVICE_CIDR} \\ service 分配 IP 的范围
--service-node-port-range=${NODE_PORT_RANGE} \\ Nodeport 分配端口

kube-controller-manager 的重点参数：

--allocate-node-cidrs=true \\ 为 node 上的 pod 分配 IP 段
--cluster-cidr=${CLUSTER_CIDR} \\ pod 总的 IP 段

--service-cluster-ip-range=${SERVICE_CIDR} \\ service 的 IP 范围

kube-scheduler 会主动链接 apiserver 并 watch 相关事件

. environmentcd master./kube-apiserver.sh./kube-controller-manager.sh./kube-scheduler.shcd -

5 部署NODE

node 上主要包括 kubelet ，kube-proxy 和容器服务。

其中容器服务相关的标准有 CRI 和 OCI ：

CRI ( Container Runtime Interface ) 是 Kubernetes 定义的一组 gRPC 服务。Kubelet 做为客户端，基于gRPC 框架，经过 Socket 和容器运行时通讯。它包括两类服务：镜像服务（ImageService）和运行时服务 ( RuntimeService ) ，一些实现包括：containerd，cri-o。
OCI ( Open Container Initiative ) 定义了建立容器的格式和运行时的开源行业标准，包括镜像规范 ( Image-Specification ) 和运行时规范 ( RuntimeSpecification ) ，一些实现包括：runc，kata。

以下图所示，本文使用下图中的第二种方式：

. environmentcd node. ./containerd.sh. ./kubelet.sh. ./kube-proxy.shcd -

6 部署 Flannel 和 CoreDNS

接下来部署 Kubernetes 的网络相关的插件，Flannel 和 CoreDNS。

CoreDNS 是 Kubernetes 域名服务器的一种实现方案，经过与 API Server 同步 service 和 pod 数据，来作 DNS 解析。运行示意以下：

Flannel 是为 Kubernetes 提供的 overlay 网络方案，会在每个宿主机上运行名为 flanneId 代理，其负责为宿主机预先分配一个子网，并为 Pod 分配 IP 地址。Flannel 使用 Kubernetes 或 etcd 来存储网络配置、分配的子网和主机公共IP等信息。数据包则经过 VXLAN 、UDP 或 host-gw 这些类型的后端机制进行转发。以下图所示：

. environmentcd flannel./flannel.shcd -cd coredns./coredns.shcd -

7 验证集群

kubectl apply ./pod.yamlkubectl get pods

本文以 Kubernetes 1.18 版本为例，简单的进行了部署，主要是为了读者可以从中理解 Kubernetes 的组件关系。在部署中，通常出现的问题是证书和权限致使的，不一样的版本要求不一样，在部署中须要注意。

了解更多微服务、云原生技术的相关信息，请关注咱们的微信公众号【云原生计算】！