使用Prometheus监控kubernetes集群

使用Prometheus监控kubernetes集群

⚠️注意：Prometheus和Grafana已经支持helm快速安装（http://www.javashuo.com/article/p-udvmvitt-gr.html），下面的方法不建议使用。

--------------------------------------------------------------

一键安装（网络可访问quay.io）：

kubectl apply --filename https://raw.githubusercontent.com/giantswarm/kubernetes-prometheus/master/manifests-all.yaml

操做面板（到https://github.com/giantswarm/kubernetes-prometheus下载文件）：

kubectl apply --filename ./manifests/grafana/import-dashboards/job.yaml

 

国内：

咱们使用 Giantswarm 开源的 kubernetes-promethues 来监控 kubernetes 集群，全部的 YAML 文件能够在 ../manifests/prometheus 目录下找到。

须要用到的镜像有：

• sz-pg-oam-docker-hub-001.tendcloud.com/library/prometheus-alertmanager:v0.7.1
• sz-pg-oam-docker-hub-001.tendcloud.com/library/grafana:4.2.0
• sz-pg-oam-docker-hub-001.tendcloud.com/library/giantswarm-tiny-tools:latest
• sz-pg-oam-docker-hub-001.tendcloud.com/library/prom-prometheus:v1.7.0
• sz-pg-oam-docker-hub-001.tendcloud.com/library/kube-state-metrics:v1.0.1
• sz-pg-oam-docker-hub-001.tendcloud.com/library/dockermuenster-caddy:0.9.3
• sz-pg-oam-docker-hub-001.tendcloud.com/library/prom-node-exporter:v0.14.0

同时备份到时速云：

• index.tenxcloud.com/jimmy/prometheus-alertmanager:v0.7.1
• index.tenxcloud.com/jimmy/grafana:4.2.0
• index.tenxcloud.com/jimmy/giantswarm-tiny-tools:latest
• index.tenxcloud.com/jimmy/prom-prometheus:v1.7.0
• index.tenxcloud.com/jimmy/kube-state-metrics:v1.0.1
• index.tenxcloud.com/jimmy/dockermuenster-caddy:0.9.3
• index.tenxcloud.com/jimmy/prom-node-exporter:v0.14.0

注：全部镜像都是从官方镜像仓库下载下。

部署

我将部署时须要用的的配置文件分红了 namespace、serviceaccount、configmaps、clusterrolebinding 和最后的部署 prometheus、grafana 的过程。

## 建立 monitoring namespaece
kubectl create -f prometheus-monitoring-ns.yaml
## 建立 serviceaccount
kubectl create -f prometheus-monitoring-serviceaccount.yaml
## 建立 configmaps
kubectl create -f prometheus-configmaps.yaml
## 建立 clusterrolebinding
kubectl create clusterrolebinding kube-state-metrics --clusterrole=cluster-admin --serviceaccount=monitoring:kube-state-metrics
kubectl create clusterrolebinding prometheus --clusterrole=cluster-admin --serviceaccount=monitoring:prometheus
## 部署 Prometheus
kubectl create -f prometheus-monitoring.yaml

访问 kubernetes 任何一个 node 上的 Grafana service 的 nodeport：

图片 - Grafana页面

该图中的数据显示明显有问题，还须要修正。

prometheus-monitoring.yaml 文件中有一个 Job 就是用来导入 grafana dashboard 配置信息的，若是该 Job 执行失败，能够单独在在 monitoring 的 namespace 中启动一个容器，将 manifests/prometheus 目录下的 json 文件复制到容器中，而后进入容器 json 文件的目录下执行：

for file in *-datasource.json ; do
              if [ -e "$file" ] ; then
                echo "importing $file" &&
                curl --silent --fail --show-error \
                  --request POST http://admin:admin@grafana:3000/api/datasources \
                  --header "Content-Type: application/json" \
                  --data-binary "@$file" ;
                echo "" ;
              fi
            done ;
            for file in *-dashboard.json ; do
              if [ -e "$file" ] ; then
                echo "importing $file" &&
                ( echo '{"dashboard":'; \
                  cat "$file"; \
                  echo ',"overwrite":true,"inputs":[{"name":"DS_PROMETHEUS","type":"datasource","pluginId":"prometheus","value":"prometheus"}]}' ) \
                | jq -c '.' \
                | curl --silent --fail --show-error \
                  --request POST http://admin:admin@grafana:3000/api/dashboards/import \
                  --header "Content-Type: application/json" \
                  --data-binary "@-" ;
                echo "" ;
              fi
            done

这样也能够向 grafana 中导入 dashboard。

存在的问题

该项目的代码中存在几个问题。

1. RBAC 角色受权问题

须要用到两个 clusterrolebinding：

• kube-state-metrics，对应的serviceaccount是kube-state-metrics
• prometheus，对应的 serviceaccount是 prometheus-k8s

在部署 Prometheus 以前应该先建立 serviceaccount、clusterrole、clusterrolebinding 等对象，不然在安装过程当中可能由于权限问题而致使各类错误，因此这些配置应该写在一个单独的文件中，而不该该跟其余部署写在一块儿，即便要写在一个文件中，也应该写在文件的最前面，由于使用 kubectl 部署的时候，kubectl 不会判断 YAML 文件中的资源依赖关系，只是简单的从头部开始执行部署，所以写在文件前面的对象会先部署。

解决方法

也能够绕过复杂的 RBAC 设置，直接使用下面的命令将对应的 serviceaccount 设置成 admin 权限，以下：

kubectl create clusterrolebinding kube-state-metrics --clusterrole=cluster-admin --serviceaccount=monitoring:kube-state-metrics
kubectl create clusterrolebinding prometheus --clusterrole=cluster-admin --serviceaccount=monitoring:prometheus

参考 RBAC——基于角色的访问控制

2. API 兼容问题

从 kube-state-metrics 日志中能够看出用户 kube-state-metrics 没有权限访问以下资源类型：

• *v1.Job
• *v1.PersistentVolumeClaim
• *v1beta1.StatefulSet
• *v2alpha1.CronJob

而在咱们使用的 kubernetes 1.6.0 版本的集群中 API 路径跟 kube-state-metrics 中不一样，没法 list 以上三种资源对象的资源。详情见：https://github.com/giantswarm/kubernetes-prometheus/issues/77

3. Job 中的权限认证问题

在 grafana-import-dashboards 这个 job 中有个 init-containers 其中指定的 command 执行错误，应该使用

curl -sX GET -H "Authorization:bearer `cat /var/run/secrets/kubernetes.io/serviceaccount/token`" -k https://kubernetes.default/api/v1/namespaces/monitoring/endpoints/grafana

不须要指定 csr 文件，只须要 token 便可。

参考 wait-for-endpoints init-containers fails to load with k8s 1.6.0 #56

参考

Kubernetes Setup for Prometheus and Grafana

RBAC——基于角色的访问控制

wait-for-endpoints init-containers fails to load with k8s 1.6.0 #56