十分钟构建双十一交互分析大盘

提到双十一不少人第一印象是一张成交金额跳动的炫酷大屏，的确大盘在阿里双十一中几乎是每一个团队标配，例如：

• CEO看业务：把重要数据放到一张大屏上，简洁而有冲击力
• 运营看效果：把多个指标放在一块儿，有利于综合分析定制投放策略
• 开发看流量：服务请求延时，排队状况，掌握实时性能与动态
• 监控看水位：集中监控总体服务的状态，有利于快速的作出响应

大盘方案选型

典型方案是流式计算架构：

• 数据采集：利用Agent、API、SDK等采集各源头数据
• 中间存储：利用类Kafka软件进行生产系统和消费系统解耦
• 实时计算：环节中最重要环节，订阅实时数据，经过计算规则对窗口中数据进行运算
• 结果存储：计算结果数据存入SQL和NoSQL
• 可视化：经过API调用结果数据进行展现

在阿里集团内，有大量成熟的产品能够完成此类工做，通常可供选型的产品以下：

对大盘进一步诉求

虽然前期作了大量准备工做，但运营、研发和运维等除了看大盘外，还会围绕整个活动的运行作大量工做，例如：

• 运营对每一个类目的细节，下单数目，用户量预期水平等进行大量分析，对某些用户群体激活和促销
• 研发关注请求流量，用户延时体验，定位和分析各类缘由
• 运维分析系统的水位，查看各资源的分布，调度资源以确保稳定性

从上述例子中能够看到，除了数据的呈现以外，咱们须要对大盘融入“交互式分析”的能力。给你们介绍一种选择：经过日志服务（LOG，原SLS）一站式的查询分析LogSearch/Analytics API 直接对接可视化大屏。
​ 
大屏的选择可选方案有日志服务Dashboard，Grafana，Datav等，也能够经过API、JDBC接口对接本身的可视化大屏和第三方的软件（例如Tableua）。日志㐏对三种大屏提供了插件，只需在配置中直接使用SQL进行计算，并展现结果。

	交互分析	平台支撑	实时性	定时刷新	视图支持	适合场景
日志服务Dashboard	️	PC	️	️	丰富	运维、运营、开发等
Grafana		PC​	️		通常	时间序列数据场景
DataV		PC​、移动端、大屏	️	️	丰富	适合于presentation场景
基于JDBC或OpenAPI自建可视化前端

日志服务Dashboard主要面须要交互式分析的查询需求，例如发现错误时，须要下钻定位缘由。跟踪到某个类目中查看细节，对比同比与环比数据。该方案有以下特色：

• 实时性强

  • 从数据产生，秒级别便可在日志服务看到数据。
  • 动态刷新，秒级别便可计算出指标，展现在大屏上。

• 秒级精度

  • 日志时间精确到秒级别。

• 灵活查询

  • 使用SQL进行交互查询，能够进行探索式分析，快速进行假设和验证。可反复在原始数据上进行任意维度的计算。而流计算在计算完原始数据后，即抛弃了原始数据，若想回溯调整查询，基本不可能。因此日志服务的交互式查询可谓灵活不少。

• 机器学习支持

  • 时序类机器学习函数，帮助发现业务规律与趋势

  • 分类与聚类函数，帮助发现与定位异常

使用步骤

以日志服务dashboard对接为例，要对接一个大屏，首先要接入数据，而后编写SQL，配置仪表盘视图。

1. 接入数据

日志服务提供30+数据接入手段能够知足各类数据源诉求，具体参考文档。

2. 调试SQL+机器学习函数

咱们在日志服务查询页面，经过SQL语法，计算出须要的指标。SQL语法参考语法文档。

3. 配置视图并保存

SQL调试好后，配置视图的参数，添加到仪表盘：

视频连接：http://cloud.video.taobao.com/play/u/106279/p/1/e/6/t/1/213808527271.mp4

在配置好的大屏中，使用下钻深刻分析结果：

日志服务控制台内置14+类型视图，用于可视化展现SQL计算结果，具体参考文档

基于日志服务大盘案例

• 从日志到双十一大屏只要一步：LOG/SLS+DataV 打通
  DataV无缝支持LOG API，使用SQL进行实时计算，统计Nginx日志的PV、UV网络等指标。

图：datav大屏

• 5分钟搭建网站实时分析：Grafana+日志服务实战

图：grafana大屏

• 日志服务Nginx dashboard：使用日志服务内置的地图、饼图、折线图等可视化Nginx日志指标

图：日志服务dashboard

• Pangu 2.0 秒级监控
  Pangu2.0是阿里云自研的新一代普惠智能新存储系统。Pangu基于日志服务搭建秒级监控，Pangu 日志产生后，秒级采集到日志服务，并在秒级别计算出各个机器的IOPS、延时、吞吐。可迅速发现负载高的机器，及时跟进处理。

• Fuxi 双十一资源画像为混部保驾护航资源调度大屏：
  伏羲是阿里云自研的分布式调度系统。在双十一期间，为了监控全部集群的容量、负载信息，伏羲团队搭建了基于日志服务+dataV的可视化大屏。一张大屏囊括了全部的集群信息，看到这张大屏，就像拥有了一张地图，在双十一波涛汹涌的流量面前，作到成竹在胸。

原文连接