kubernetes 简介
kubernetes,简称K8s,是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单而且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。 node
优点:
传统的应用部署方式是经过插件或脚原本安装应用。这样作的缺点是应用的运行、配置、管理、全部生存周期将与当前操做系统绑定,这样作并不利于应用的升级更新/回滚等操做,固然也能够经过建立虚拟机的方式来实现某些功能,可是虚拟机很是重,并不利于可移植性。
新的方式是经过部署容器方式实现,每一个容器之间互相隔离,每一个容器有本身的文件系统 ,容器之间进程不会相互影响,能区分计算资源。相对于虚拟机,容器能快速部署,因为容器与底层设施、机器文件系统解耦的,因此它能在不一样云、不一样版本操做系统间进行迁移。
容器占用资源少、部署快,每一个应用能够被打包成一个容器镜像,每一个应用与容器间成一对一关系也使容器有更大优点,使用容器能够在build或release 的阶段,为应用建立容器镜像,由于每一个应用不须要与其他的应用堆栈组合,也不依赖于生产环境基础结构,这使得从研发到测试、生产能提供一致环境。相似地,容器比虚拟机轻量、更“透明”,这更便于监控和管理。linux
▪ Master 组件
▪ 节点(Node)组件
Kubernetes是Google开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时,一般要部署该应用的多个实例以便对应用请求进行负载均衡。
在Kubernetes中,咱们能够建立多个容器,每一个容器里面运行一个应用实例,而后经过内置的负载均衡策略,实现对这一组应用实例的管理、发现、访问,而这些细节都不须要运维人员去进行复杂的手工配置和处理。nginx
Kubernetes 特色
可移植: 支持公有云,私有云,混合云,多重云(multi-cloud)
可扩展: 模块化,插件化,可挂载,可组合
自动化: 自动部署,自动重启,自动复制,自动伸缩/扩展git
Master 组件
1.1kube-apiserver
1.2ETCD
1.3kube-controller-manager
1.4cloud-controller-manager
1.5kube-scheduler
1.6插件 addons
1.6.1DNS
1.6.2用户界面
1.6.3容器资源监测
1.6.4Cluster-level Logginggithub
节点(Node)组件
2.1kubelet
2.2kube-proxy
2.3docker
2.4RKT
2.5supervisord
2.6fluentdweb
Master 组件
Master组件提供集群的管理控制中心。Master组件能够在集群中任何节点上运行。可是为了简单起见,一般在一台VM/机器上启动全部Master组件,而且不会在此VM/机器上运行用户容器。请参考构建高可用群集以来构建multi-master-VM。chrome
kube-apiserver
kube-apiserver用于暴露Kubernetes API。任何的资源请求/调用操做都是经过kube-apiserver提供的接口进行。请参阅构建高可用群集。docker
ETCD
etcd是Kubernetes提供默认的存储系统,保存全部集群数据,使用时须要为etcd数据提供备份计划。json
kube-controller-manager
kube-controller-manager运行管理控制器,它们是集群中处理常规任务的后台线程。逻辑上,每一个控制器是一个单独的进程,但为了下降复杂性,它们都被编译成单个二进制文件,并在单个进程中运行。bootstrap
这些控制器包括:
节点(Node)控制器。
副本(Replication)控制器:负责维护系统中每一个副本中的pod。
端点(Endpoints)控制器:填充Endpoints对象(即链接Services&Pods)。
Service Account和Token控制器:为新的Namespace建立默认账户访问API Token。
cloud-controller-manager
云控制器管理器负责与底层云提供商的平台交互。云控制器管理器是Kubernetes版本1.6中引入的,目前仍是Alpha的功能。
云控制器管理器仅运行云提供商特定的(controller loops)控制器循环。能够经过将--cloud-providerflag设置为external启动kube-controller-manager ,来禁用控制器循环。
cloud-controller-manager 具体功能:
节点(Node)控制器
路由(Route)控制器
Service控制器
卷(Volume)控制器
kube-scheduler
kube-scheduler监视新建立没有分配到Node的Pod,为Pod选择一个Node。
插件 addons
插件(addon)是实现集群pod和Services功能的。Pod由Deployments,ReplicationController等进行管理。Namespace 插件对象是在kube-system Namespace中建立。
DNS
虽然不严格要求使用插件,但Kubernetes集群都应该具备集群 DNS。
群集 DNS是一个DNS服务器,可以为 Kubernetes services提供 DNS记录。
由Kubernetes启动的容器自动将这个DNS服务器包含在他们的DNS searches中。
用户界面
kube-ui提供集群状态基础信息查看。
容器资源监测
容器资源监控提供一个UI浏览监控数据。
Cluster-level Logging
Cluster-level logging,负责保存容器日志,搜索/查看日志。
节点(Node)组件
节点组件运行在Node,提供Kubernetes运行时环境,以及维护Pod。
kubelet
kubelet是主要的节点代理,它会监视已分配给节点的pod,具体功能:
安装Pod所需的volume。
下载Pod的Secrets。
Pod中运行的 docker(或experimentally,rkt)容器。
按期执行容器健康检查。
Reports the status of the pod back to the rest of the system, by creating amirror podif necessary.
Reports the status of the node back to the rest of the system.
kube-proxy
kube-proxy经过在主机上维护网络规则并执行链接转发来实现Kubernetes服务抽象。
docker
docker用于运行容器。
RKT
rkt运行容器,做为docker工具的替代方案。
supervisord
supervisord是一个轻量级的监控系统,用于保障kubelet和docker运行。
fluentd
fluentd是一个守护进程,可提供cluster-level logging.。
集群环境:
系统centos7
master、node
----------------(前期调试在每台进行操做)----------------
设置三台机器的主机名:
master上执行:hostnamectl --static set-hostname k8s-master node1上执行:hostnamectl --static set-hostname k8s-node-1 node2上执行:hostnamectl --static set-hostname k8s-node-2
修改每台hosts文件互解:
cat << EOF >> /etc/hosts 192.168.180.128 k8s-master 192.168.180.133 k8s-node-1 EOF
关闭防火墙和selinux
systemctl stop firewalld && systemctl disable firewalld && setenforce 0 setenforce 0 sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
开启linux路由转发功能
echo "1" > /proc/sys/net/ipv4/ip_forward
设置ssh使服务器之间互信
mkdir ~/.ssh ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub user@server
kubernetes集群组件(须要配置的)
-etcd :一个高可用的K/V键值对存储和服务发现系统
-flannel:实现跨主机的容器网络的通讯
-kube-apiserver:提供kubernetes集群的api调用
-kube-controller-manager:确保集群服务
-kube-scheduler调度容器:分配到node
-kubelet:在node节点上按照配置文件中定义的容器规格启动容器
-kube-proxy提供网络代理服务
下载依赖包-lvm2-docker等
yum update -y && yum -y install yum-utils device-mapper-persistent-data lvm2 yum-config-manager --enable docker-ce-nightly yum-config-manager --enable docker-ce-test
添加官方yum库
sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo
安装docker
sudo yum install docker-ce docker-ce-cli containerd.io systemctl enable docker && systemctl start docker yum-config-manager --enable docker-ce-nightly yum-config-manager --enable docker-ce-test
或者使用脚本一键安装
curl -fsSL "https://get.docker.com/" | sh systemctl enable --now docker
修改docker cgroup驱动,与k8s一致,使用systemd 修改docker cgroup驱动:
native.cgroupdriver=systemd cat > /etc/docker/daemon.json <<EOF { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ] } EOF systemctl restart docker # 重启使配置生效
全部节点安装/kubeadm/kubelet/kubectl
添加YUM源
-------------------阿里云YUM-------------------
cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
-------------------Google YUM-------------------
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg EOF
安装kubelet kubeadm kubectl
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes systemctl enable --now kubelet
----------------(master操做)--------------
部署Kubernetes Master
在(Master)执行。
kubeadm init \ --apiserver-advertise-address=192.168.180.128 \ --image-repository registry.aliyuncs.com/google_containers \ --service-cidr=10.1.0.0/16 \ --pod-network-cidr=10.244.0.0/16
--apiserver-advertise-address 指定与其它节点通讯的接口
--pod-network-cidr 指定pod网络子网,使用fannel网络必须使用这个CIDR
--image-repository=registry.aliyuncs.com/google_containers初始化时能够添加下载镜像的源地址。由于默认是google的,国内没法访问。这样前面就不要提早下载好镜像了。
用户设置权限(root用户也须要执行)
master 执行
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
安装Pod网络插件(CNI)
master 执行
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
----------------(node操做)--------------
node节点加入到master
node1:kubeadm join 192.168.1.100:6443 --token te0fvk.dbf7t1qsu4kpvxe2 \ --discovery-token-ca-cert-hash sha256:dd74bd1b52313dd8664b8147cb6d18a6f8b25c6c5aa4debc3
结果检查
node节点加入master输出信息以下:
[preflight] Running pre-flight checks [preflight] Reading configuration from the cluster... [preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml' [kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.15" ConfigMap in the kube-system namespace [kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml" [kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env" [kubelet-start] Activating the kubelet service [kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap... This node has joined the cluster: * Certificate signing request was sent to apiserver and a response was received. * The Kubelet was informed of the new secure connection details. Run 'kubectl get nodes' on the control-plane to see this node join the cluster.
----------------(master操做)--------------
master 节点执行kubectl get nodes
[root@master ~]# kubectl get nodesNAME STATUS ROLES AGE VERSION master Ready master 14m v1.15.2 node1 Ready <none> 3m36s v1.15.2 node2 Ready <none> 101s v1.15.2
测试kubernetes集群
在Kubernetes集群中建立一个pod,验证是否正常运行:
$ kubectl create deployment nginx --image=nginx kubectl expose deployment nginx --port=80 --type=NodePort kubectl get pod,svc
《《 初始化 Kubernetes (端口被占用的问题)
报错信息
[root@k8s-master01 ~]# kubeadm init --config config.yaml[init] Using Kubernetes version: v1.10.0
[init] Using Authorization modes: [Node RBAC]
[preflight] Running pre-flight checks.
[preflight] Some fatal errors occurred:
[ERROR Port-6443]: Port 6443 is in use
[ERROR Port-10250]: Port 10250 is in use
[ERROR Port-10251]: Port 10251 is in use
[ERROR Port-10252]: Port 10252 is in use
[ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists
[preflight] If you know what you are doing, you can make a check non-fatal with--ignore-preflight-errors=...
解决方案:发现杀死进程都没有用,最终重启一下kubeadm就能够了,以下:
[root@k8s-master01 ~]# kubeadm reset 》》
部署 Dashboard
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.5.1/src/deploy/kubernetes-dashboard.yaml
默认镜像国内没法访问,修改镜像地址为: lizhenliang/kubernetes-dashboard-amd64:v1.10.1
默认Dashboard只能集群内部访问,修改Service为NodePort类型,暴露到外部:
vim kubernetes-dashboard.yaml kind: Service apiVersion: v1 metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kube-system spec: type: NodePort ports: - port: 443 targetPort: 8443 nodePort: 30001 selector: k8s-app: kubernetes-dashboard
$ kubectl apply -f kubernetes-dashboard.yaml
注意:安装v1.10.1以前先将配置文件中版本信息v1.5.1修改成v1.10.1
docker pull gcr.io/google_containers/kubernetes-dashboard-amd64:v1.10.1
建立service account并绑定默认cluster-admin管理员集群角色:
$ kubectl create serviceaccount dashboard-admin -n kube-system kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
使用输出的token登陆Dashboard。
使用apiserver方式访问平台
注:自行修改ip以及端口
报错以下:
{ "kind": "Status", "apiVersion": "v1", "metadata": { }, "status": "Failure", "message": "services \"https:kubernetes-dashboard\" is forbidden: User \"system:anonymous\" cannot get services/proxy in the namespace \"kube-system\"", "reason": "Forbidden", "details": { "name": "https:kubernetes-dashboard", "kind": "services" }, "code": 403 }
经过message和code,咱们使用的是system:anonymous这样的用户来访问位于kube-system命名空间中的名为https:kubernetes-dashboard的service资源。而后这个用户没有权限访问,因此被拒绝了。
k8s中的用户和认证及受权机制。
k8s中的用户、认证及受权机制简介,k8s中的用户有两种
真实用户 :如kubelet
服务帐户: 即service account(简写为sa)
k8s中的认证机制
k8s经过ClusterRoleBinding或者RoleBinding资源来实现对用户权限的赋予。
ClusterRole或者Role:意思是集群角色或角色,他们是规定了一组对集群内资源的权限规则。
roles和clusterroles的区别在于: roles只能对某个命令空间内的资源定义权限。而集群角色定义的权限都是针对整个集群的命名空间的。
将用户和role绑定起来就实现了对用户权限的授予。
建立并导入认证证书
建立证书
首先须要确认kubectl命令的配置文件,默认状况下为/etc/kubernetes/admin.conf,并且已经自动建立在$HOME/.kube/config中,若是没有建立则须要手动赋值。
cat $HOME/.kube/config
若是确认有集群的配置,则运行如下命令来生成一个p12格式的浏览器证书
先生成kubecfg-crt
grep 'client-certificate-data' ~/.kube/config | head -n 1 | awk '{print $2}' | base64 -d >> kubecfg.crt
生成kubecfg-key
grep 'client-key-data' ~/.kube/config | head -n 1 | awk '{print $2}' | base64 -d >> kubecfg.key
生成p12证书,按要求输入密码直接回车便可,密码不要胡乱输,后面给浏览器导入的时候要用。
openssl pkcs12 -export -clcerts -inkey kubecfg.key -in kubecfg.crt -out kubecfg.p12 -name "kubernetes-client"
运行完后在当前目录会有个kubecfg.p12证书文件,将这个kubecfg.p12证书文件传到桌面上,能够经过安装yum install lrzsz,将文件发送到桌面上
[root@master1] ~$ sz kubecfg.p12
将证书导入chrome浏览器
点击浏览器:菜单-设置-高级-管理证书
选择“我的”这一栏(适用于chrome71以上版本,71如下不肯定行不行),而后点击导入kubecfg.p12。
剩下的步骤所有默认,完成后以下:
导入成功后,重启浏览器
chrome://restart
注:使用以下连接,更改ip和端口访问再次访问
https://192.168.255.140:8443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/
此时会弹出相似以下的证书信息对话框,点击肯定便可。
点击肯定以后,会出现下面的界面
选择登陆方式
kubeconfig、令牌、用户名和密码,直接访问,不使用任何登陆,使用令牌方式登陆,所有资源访问权限,先建立一个帐号,再建立一个有所有权限的clusterroles,将两者用clusterrolebinding绑定起来。
安装yaml文件时,已建立了一个名为kubernetes-dashboard的服务帐户,查看详情
[root@master2] ~$ kubectl describe serviceaccount/kubernetes-dashboard -n kube-system Name: kubernetes-dashboard Namespace: kube-system Labels: k8s-app=kubernetes-dashboard Annotations: <none> Image pull secrets: <none> Mountable secrets: kubernetes-dashboard-token-jwld4 Tokens: kubernetes-dashboard-token-jwld4 Events: <none>
而kubernetes集群安装好后,他会自动生成一些clusterroles集群权限对象,你能够用下面的命令查看都有哪些
[root@master2] ~$ kubectl get clusterroles NAME AGE admin 4h21m cluster-admin 4h21m edit 4h21m flannel 3h58m system:aggregate-to-admin 4h21m system:aggregate-to-edit 4h21m
好比集群管理员,咱们详细的看一下,*号表示对全部资源有全部权限。
[root@master2] ~$ kubectl describe clusterroles/cluster-admin Name: cluster-admin Labels: kubernetes.io/bootstrapping=rbac-defaults Annotations: rbac.authorization.kubernetes.io/autoupdate: true PolicyRule: Resources Non-Resource URLs Resource Names Verbs --------- ----------------- -------------- ----- *.* [] [] [*] [*] [] [*]
用户和权限都有了,将他们绑定起来
将kubernetes-dashboard这个服务帐户和cluster-admin这个集群管理员权限对象绑定起来。
##13. 建立一个yaml文件, vim dashboard.yaml,内容以下
apiVersion: rbac.authorization.k8s.io/v1beta1 kind: ClusterRoleBinding metadata: name: kubernetes-dashboard labels: k8s-app: kubernetes-dashboard roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-admin subjects: - kind: ServiceAccount name: kubernetes-dashboard namespace: kube-system
执行
[root@master2] ~$ kubectl create -f dashboard.yaml
查看是否建立成功
[root@master2] ~$ kubectl get clusterrolebindings kubernetes-dashboard NAME AGE kubernetes-dashboard 88s
找到kubernetes-dashboard帐户的token,记下这串token,登陆的时候会使用,这个token默认是永久的。
kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep kubernetes-dashboard-token | awk '{print $1}')
Name: kubernetes-dashboard-token-jwld4 Namespace: kube-system Labels: <none> Annotations: kubernetes.io/service-account.name: kubernetes-dashboard kubernetes.io/service-account.uid: a2ced45f-8b61-11e9-b98f-0050563ff983 Type: kubernetes.io/service-account-token Data namespace: 11 bytes token: eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC10b2tlbi1qd2xkNCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImEyY2VkNDVmLThiNjEtMTFlOS1iOThmLTAwNTA1NjNmZjk4MyIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTprdWJlcm5ldGVzLWRhc2hib2FyZCJ9.VzsWE80t7AEMB891rxBKJVMxwt5DtuzA23_-SLxxQcjpaB80LBfB09WqUSe6G6vrkRdpMQ3wDLA2SIFCQVAapAHl-J45NuPyhxh8A-DNpfGpEk3uxFqXkn5WXYasbeCIcHw6TII27PTwG6wgS_q1qEbOf4LYJHjExdqypIqAj__F2RRGTqER378qVvJrHJndL5M6W2PhINazLOEqezxKxDRBigMFU7luOYvWCxSPFhjSd3LrsMfWwSRY-Jq5-tUEhsI7uU7Yyb3UIDDiXex-8Mwbida_TgpcIZi6BaEclPygSSfq1a177r97hnxcdv02X9ooOghztSGKM-1bDBWhNg ca.crt: 1025 bytes
再次访问dashboard,输入token登陆后界面以下;
此时访问dashboard的主体是kubernetes-dashboard这个服务帐户,它拥有对集群全部资源的全部使用权限。
经过web方式操做很方便,以下:进行扩缩容
生产环境要对不一样的人赋予不一样的权限,自定义资源访问权限,用kubeconfig方式登陆,每次都要复制token,会比较麻烦
一、先把config文件复制到别的地方
[root@master2] ~$ cp .kube/config .
而后把一个具备所有访问权限的token追加到最后一行。先找出token
kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-token | awk '{print $1}') |grep token|tail -1
追加到config中,以下
users: - name: kubernetes-admin user: client-certificate-data: LS0tLS1CRUd.... client-key-data: LS0tLS1CRUdJTiBSU...... token: eyJhbGciO... ...
上传到桌面,选择登陆
使用用户名密码方式登陆,默认状况下用户名密码登陆没有启用。
若是没有该参数,默认使用的是匿名用户,而且没法检查提供的凭据是否有效。
缘由是Kubernetes 须要有配置若是要启用用户名和密码验证,必须在apiserver的部署文件中配置参数 --authorization-mode=ABAC和and --basic-auth-file。
而后在dashboard的部署文件中设置authentication-mode = basic。默认状况下,它的设置是--authentication-mode = token。
跳过登陆过程,直接访问
添加参数- --enable-skip-login
containers: - args: - --auto-generate-certificates - --enable-skip-login
官方文档:
https://github.com/kubernetes/dashboard/wiki/Accessing-Dashboard—1.7.X-and-above
https://github.com/kubernetes/dashboard/wiki/Creating-sample-user