Service Mesh - Istio服务观测篇

时间  2021-01-19
标签 前端 web 数据库 json 后端 浏览器 安全 bash 网络 架构 栏目 HTML 繁體版
原文   原文链接

洞察你的服务：使用Kiali观测你的微服务应用

微服务架构可视化的重要性：前端

  • 痛点：
    • 服务间依赖关系错综复杂
    • 问题排查困难，扯皮甩锅时有发生
  • 可视化的优点：
    • 梳理服务的交互关系
    • 了解应用的行为与状态

什么是 Kiali：web

Kiali属于Istio的集成组件之一，是一个用于Istio的可观测性控制台，具备服务网格配置和验证功能。它经过监控网络流量来推断服务拓扑和报告错误，帮助你了解服务网格的结构和运行情况。Kiali提供了详细的度量和基本的Grafana集成，可用于高级查询。数据库

  • 官方定义：
    • Istio 的可观察性控制台
    • 经过服务拓扑帮助你理解服务网格的结构
    • 提供网格的健康状态视图
    • 具备服务网格配置功能
  • 名字含义：源自希腊语，意为望远镜
  • 依赖 Istio 做为宿主，为 Istio 开发有较强的绑定关系
  • Kiali 是 Istio 服务观测的一环

Kiali 的功能：
Service Mesh - Istio服务观测篇json

Kiali 的架构：
Service Mesh - Istio服务观测篇后端

从上图能够看到 Kiali 是一个先后端分离的架构，咱们可使用官方提供的配置文件启动 Kiali 的后端组件：浏览器

[root@m1 ~]# kubectl apply -f /usr/local/istio-1.8.1/samples/addons/kiali.yaml

确认启动成功：安全

[root@m1 ~]# kubectl get pods -n istio-system 
NAME                                    READY   STATUS    RESTARTS   AGE
kiali-7476977cf9-nwnsg                  1/1     Running   1          33h
...

而后使用以下命令启动 kiali 的前端：bash

[root@m1 ~]# istioctl dashboard kiali --address 192.168.243.138
http://localhost:20001/kiali
  • Tips：这里的 IP 是该虚拟机可被外部访问的 IP

使用浏览器访问 192.168.243.138:20001 ，基本页面以下：
Service Mesh - Istio服务观测篇网络

在 “Application” 页面能够查看不一样 Namespace 下所部署的应用：
Service Mesh - Istio服务观测篇架构

在 “Graph” 页面下能够查看服务之间的整体拓扑，并提供了多种页面操做：
Service Mesh - Istio服务观测篇

在 “Services” 页面能够查看指定 Namespace 下的服务信息：
Service Mesh - Istio服务观测篇

点击服务的名称能够进入该服务的详情页：
Service Mesh - Istio服务观测篇

在 “Workloads” 页面能够查看指定 Namespace 下的工做负载信息：
Service Mesh - Istio服务观测篇

点击工做负载的名称能够进入该工做负载的详情页：
Service Mesh - Istio服务观测篇

在 “Istio Config” 页面能够对 Istio 中的资源配置进行查看、编辑及验证：
Service Mesh - Istio服务观测篇

  • 绿色表明没问题，黄色表明有警告，例如使用了过时的配置项，红色则表明配置有错误

例如 detail 的配置有错误，咱们能够点击进去查看出错的地方，而且根据提示进行修改，而后点击 “Save” 保存便可：
Service Mesh - Istio服务观测篇

在 “Istio Config” 页面还有个向导功能，可让咱们建立 Istio 的资源。以下：
Service Mesh - Istio服务观测篇

但目前只提供了少数的几个资源类型能够建立：
Service Mesh - Istio服务观测篇

指标：使用Prometheus收集指标

Prometheus 是一个开源的监控系统和时间序列数据库。你可使用 Prometheus 来记录跟踪 Istio 和服务网格内应用程序运行情况的指标。而后可使用Grafana和Kiali等工具对监控指标进行可视化。

Prometheus 的功能：
Service Mesh - Istio服务观测篇

Prometheus 的架构：
Service Mesh - Istio服务观测篇

Prometheus 与 Istio 的集成也比较简单，咱们可使用官方提供的配置文件启动 Prometheus Server：

[root@m1 ~]# kubectl apply -f /usr/local/istio-1.8.1/samples/addons/prometheus.yaml

确认启动成功：

[root@m1 ~]# kubectl get pods -n istio-system 
NAME                                    READY   STATUS    RESTARTS   AGE
prometheus-7bfddb8dbf-4mnzr             2/2     Running   2          33h
...

而后使用以下命令启动 Prometheus 的 Web UI ：

[root@m1 ~]# istioctl dashboard prometheus --address 192.168.243.138
http://localhost:9090

使用浏览器访问 192.168.243.138:9090，页面以下：
Service Mesh - Istio服务观测篇

经过官方提供的配置文件启动 Prometheus Server 后，它就会自动收集 Istio 的监控指标了。此时咱们就能够经过 Prometheus 收集指标并查看指标数据了，例如查看 Istio 的请求总数，该指标属于服务指标：
Service Mesh - Istio服务观测篇

Envoy 代理指标则以 envoy 开头，能够输入前缀进行查询：
Service Mesh - Istio服务观测篇

除以上两类指标外还有控制平面指标，这类指标是 Istio 提供的一系列自我监控指标，这些指标用于监控 Istio 自己的行为。

在 “Status -> Targets” 页面能够查看监控目标的状态：
Service Mesh - Istio服务观测篇

Istio 1.5 以后提供的遥测指标：

  • 请求总数（istio_requests_total）
  • 请求时长（istio_request_duration_milliseconds）
  • 请求大小（istio_request_bytes）
  • 响应大小（istio_response_bytes）
  • TCP 发送字节数（istio_tcp_sent_bytes_total）
  • TCP 接受字节数（istio_tcp_received_bytes_total）
  • TCP 链接打开数（istio_tcp_connections_opened_total）
  • TCP 链接关闭数（istio_tcp_connections_closed_total）

Istio 1.5 以前是经过Mixer来进行指标收集的，以下图：
Service Mesh - Istio服务观测篇

  • 首先Envoy须要调用Mixer来上报指标信息，Mixer则会提供一个 metrics 这样的接口给 Prometheus 去抓取指标数据。由于每次请求进入代理时都须要调用Mixer上报数据，致使了一些性能问题，例如额外的资源占用以及请求延迟这样的状况，因此1.5以后Mixer就被废弃了

Istio 1.5 以后就直接是 Envoy 和 Prometheus 进行交互，以下图：
Service Mesh - Istio服务观测篇

  • 不管是代理级别的指标仍是服务级别的指标，都是经过 Envoy 直接去获取的，这就省去了一层与Mixer的交互。尽管更改后的版本在性能上有了大幅提高，但仍是存在一些问题。首先由于取消了Mixer这样的中心化管理，因此致使 Envoy 代理须要本身去上传指标数据，不是很方便，扩展性变弱了。

可同时解决性能与扩展性问题最可行的一个方法就是将来在 Envoy 上使用 WebAssembly 这样的技术。WebAssembly in Envoy：
Service Mesh - Istio服务观测篇

  • 解决静态化编译（构建时）的弊端
  • 优点：
    • 无需修改 Envoy
    • 避免远程调用
    • 隔离性/安全/多样性
    • 可移植/可维护

关于收集、查询指标的更多方式能够参考官方文档：

监控：使用Grafana查看系统的总体状态

Grafana 的功能：
Service Mesh - Istio服务观测篇

  • Grafana 只是一个功能强大的可视化分析平台，自身并不包含数据源，因此一般须要配合 Prometheus 等数据源使用。让 Grafana 从Prometheus 中读取数据进行各类可视化展现，能够弥补 Prometheus 自带的可视化界面的不足

Istio 默认提供了一些 Grafana Dashboard：

  • Mesh Dashboard：查看应用（服务）数据
    • 网格数据总览
    • 服务视图
    • 工做负载视图
  • Performance Dashboard：查看 Istio 自身（各组件）数据
    • Istio 系统总览
    • 各组件负载状况

关于 Grafana 与 Istio 的集成，官方也提供了相应的配置文件，使用以下命令就能够启动 Grafana ：

[root@m1 ~]# kubectl apply -f /usr/local/istio-1.8.1/samples/addons/grafana.yaml

确认启动成功：

[root@m1 ~]# kubectl get pods -n istio-system 
NAME                                    READY   STATUS    RESTARTS   AGE
grafana-784c89f4cf-s26lp                1/1     Running   1          33h
...

而后使用以下命令启动 Grafana 的 Web UI ：

[root@m1 ~]# istioctl dashboard grafana --address 192.168.243.138
http://localhost:3000

使用浏览器访问 192.168.243.138:3000 ，首页以下：
Service Mesh - Istio服务观测篇

如今咱们就能够使用 Grafana 查看指标生成的 Istio Dashboard了，进入 “Home”，能够看到 Istio 提供的 Dashboard：
Service Mesh - Istio服务观测篇

打开 “Istio Mesh Dashboard” 查看网格数据总览，展现效果以下：
Service Mesh - Istio服务观测篇

点击下方的 Service 名称能够进入 “Istio Service Dashboard” 查看服务视图：
Service Mesh - Istio服务观测篇

“Istio Workload Dashboard” 查看工做负载视图：
Service Mesh - Istio服务观测篇

“Istio Performance Dashboard” 查看资源使用总览：
Service Mesh - Istio服务观测篇

日志：如何获取Envoy的日志并进行调试

最简单的一种Istio日志记录是Envoy的访问日志记录。访问日志（Access logs）提供了一种从单个工做负载实例的角度监视和理解行为的方法，经过查看Envoy日志能够了解流量信息、定位问题。Envoy代理将访问信息打印到其标准输出。而后，使用kubectl logs命令能够打印Envoy容器的标准输出。

这一小节将演示如何获取Envoy的访问日志。首先，确认 Envoy 日志配置已开启（默认是开启的），可以使用以下命令开启：

$ istioctl install <flags-you-used-to-install-Istio> --set meshConfig.accessLogFile=/dev/stdout

仍是以Bookinfo应用做为示例：

[root@m1 ~]# kubectl get pods
NAME                              READY   STATUS    RESTARTS   AGE
details-v1-79c697d759-wpxlj       2/2     Running   2          9h
productpage-v1-65576bb7bf-4bwwr   2/2     Running   2          9h
ratings-v1-7d99676f7f-cfbw4       2/2     Running   2          9h
reviews-v1-987d495c-8n5mv         2/2     Running   2          9h
reviews-v2-6c5bf657cf-rzn4q       2/2     Running   2          9h
reviews-v3-5f7b9f4f77-29454       2/2     Running   2          9h
[root@m1 ~]#

访问Bookinfo应用的服务后会产生流量输出，此时可使用以下命令查看 Envoy（istio-proxy）的日志输出：

[root@m1 ~]# kubectl logs -l app=productpage -c istio-proxy
...
[2020-12-23T01:34:30.349Z] "GET /details/0 HTTP/1.1" 200 - "-" 0 178 15 14 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36" "1e449e4d-0f3f-928b-9add-8b8ace3f5feb" "details:9080" "172.22.152.212:9080" outbound|9080||details.default.svc.cluster.local 172.22.152.206:42074 10.104.2.32:9080 172.22.152.206:56744 - default
[2020-12-23T01:34:30.376Z] "GET /reviews/0 HTTP/1.1" 200 - "-" 0 375 948 948 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36" "1e449e4d-0f3f-928b-9add-8b8ace3f5feb" "reviews:9080" "172.22.78.148:9080" outbound|9080||reviews.default.svc.cluster.local 172.22.152.206:52008 10.100.239.139:9080 172.22.152.206:55806 - default

访问日志默认的格式是 TEXT 格式，不利于查看日志项的含义，咱们能够将日志格式设置为JSON，这样能够比较方便观察其日志项，使用以下命令将accessLogEncoding设置为JSON：

$ istioctl install <flags-you-used-to-install-Istio> --set meshConfig.accessLogEncoding=JSON

将日志格式设置为JSON后，此时输出的日志内容以下：

{"upstream_cluster":"outbound|9080||reviews.default.svc.cluster.local","downstream_remote_address":"172.22.152.206:32852","authority":"reviews:9080","path":"/reviews/0","protocol":"HTTP/1.1","upstream_service_time":"735","upstream_local_address":"172.22.152.206:53320","duration":735,"route_name":"default","downstream_local_address":"10.100.239.139:9080","upstream_transport_failure_reason":null,"user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36","response_code":200,"response_flags":"-","start_time":"2020-12-23T01:45:58.932Z","method":"GET","request_id":"12bc8456-65b1-9a34-96e6-0fa9f0525f23","upstream_host":"172.22.152.209:9080","x_forwarded_for":null,"requested_server_name":null,"bytes_received":0,"bytes_sent":379}

将JSON格式化后，以下：
Service Mesh - Istio服务观测篇

日志信息中有五个重要的字段，也就是所谓的Envoy 流量五元组：
Service Mesh - Istio服务观测篇

  • Envoy 流量五元组可让你清晰地知道，流量是从哪里来，会到哪里去，因此五元组是 Envoy 日志中很是重要的概念

调试关键字段：response_flags，一些请求的错误标志会被赋值给该字段。常见错误标志有以下几种：

  • UH：upstream cluster 中没有健康的 host，503
  • UF：upstream 链接失败，503
  • UO：upstream overflow（熔断）
  • NR：没有路由配置，404
  • URX：请求被拒绝由于限流或最大链接次数
  • 更多信息可参考：官方文档

Envoy 的一些日志配置项：
Service Mesh - Istio服务观测篇

分布式追踪：使用Jeager对应用进行分布式追踪

分布式追踪概念

  • 分析和监控应用的监控方法
  • 查找故障点、分析性能问题
  • 起源于 Google 的 Dapper
  • 随着分布式追踪技术的发展，衍生出了OpenTracing：API 规范、框架、公共库的组合
    Service Mesh - Istio服务观测篇

Istio支持经过 Envoy 代理进行分布式追踪。代理会表明其代理的应用程序自动生成跟踪范围，只须要应用程序转发适当的请求上下文。

Istio支持许多跟踪后端，包括Zipkin、Jaeger、Lightstep和Datadog。本小节将介绍 Istio 集成 Jaeger 实现分布式追踪。

什么是 Jaeger：

  • 开源、端到端的分布式追踪系统
  • 针对复杂的分布式系统，对业务链路进行监控和问题排查
    Service Mesh - Istio服务观测篇

分布式追踪的两个重要术语：

  • Span：
    • 逻辑单元
    • 有操做名、执行时间
    • 嵌套、有序、因果关系
  • Trace：
    • 数据/执行路径
    • Span 的组合
      Service Mesh - Istio服务观测篇

Jaeger 的架构：
Service Mesh - Istio服务观测篇

核心组件：

  • Client libraries：客户端公共库，支持不一样语言
  • Agent：用于从应用抓取Span，并发送给Collector
  • Collector：收集器，从应用层收集Span数据，并发送给存储系统（DB）
  • Query：至关于查询引擎，用于提供在页面上查询数据的能力
  • Ingester：与Kafka配合使用，至关于Kafka的一个Consumer，消费数据存储到DB中

接下来咱们把 Jaeger 集成到 Istio。首先，确认 Istio 开启了追踪选项，可使用以下命令开启：

$ istioctl install <flags-you-used-to-install-Istio> --set values.tracing.enabled=true

咱们可使用官方提供的配置文件快速将 Jaeger 集成到 Istio 中：

[root@m1 ~]# kubectl apply -f /usr/local/istio-1.8.1/samples/addons/jaeger.yaml

确认 Jaeger 启动成功：

[root@m1 ~]# kubectl get pods -n istio-system 
NAME                                    READY   STATUS    RESTARTS   AGE
jaeger-7f78b6fb65-gchw2                 1/1     Running   2          46h
...

而后使用以下命令启动 Jaeger 的Web UI：

[root@m1 ~]# istioctl dashboard jaeger --address 192.168.243.138
http://localhost:16686

使用浏览器访问 Jaeger 的Web UI：
Service Mesh - Istio服务观测篇

而后访问 Bookinfo 应用页面生成一些 trace 数据后，到 Jaeger 查询 trace 数据：
Service Mesh - Istio服务观测篇

点击任意 Span 能够查看其详细 trace 数据：
Service Mesh - Istio服务观测篇
Service Mesh - Istio服务观测篇

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程