背景
通过在线教育业务中的持续打磨与迭代,柯南平台终于开源,旨在为行业内更多的的质效保障团队提供更专业更稳定的质效保障方案。随着业务与技术架构的不断变化,服务端的质量保障工做变得愈来愈复杂。近几年流量回放的方案在行业内落地生根,但大部分以工具为主而且使用成本与二次开发生成本较高,柯南平台应运而生。git
目标
基于线上真实用户流量的录制回放能力与结果校验能力,为冒烟测试,集成回归测试,线上验证与线上巡检提供解决方案。github
核心功能
流量采集json
基于ES日志源的流量录制采集,平台化配置接入,下降使用成本,而且提供详细的流量采集数据。后端
流量回放架构
分布式的后端架构,为流量回放提高执行效率,支持服务鉴权配置,基于http协议的回放符合真实业务场景。分布式
结果校验工具
流量回放的常规校验方式基本上是以流量结果的DIFF为主,但大量的流量噪声(时间戳,自增数据...)一直影响结果的准确性,柯南平台在回放中基于配置的jsonSchema作第一层校验,再结合自研的降噪比对服务进行流量DIFF的第二层校验,从而保障告终果校验的准确性,大大提高了流量回放结果的可信度。性能
回归规则校验
测试
流量比对
优化
平台优点与应用场景
优点
- 解决传统自动化覆盖率低,维护成本高的问题
- 多规则的流量结果断言校验
- 多规则的流量结果比对支持
- 流量数据可用于自动化测试与性能测试
- 交互简单,配置化接入
- 开源共建,持续优化
应用场景
- 提测质量卡点
- CI/CD流水线质量卡点
- 服务线上监控巡检
平台业务架构
业务架构
平台技术架构
服务端架构
平台能力及功能
使用须知
- 流量采集: ES日志;
- 回放协议: http协议;
- 具体环境可参考开源详细技术文档
写在最后
质效的提高也许不能单单经过一个平台,技术与人的结合才能带来更大的突破。善于利用技术创新才能从容的面对愈来愈频繁的需求,愈来愈复杂的业务,柯南平台的技术方案产出于学而思网校的大班业务而且逐步通用化,平台现已开源,但愿更多优秀的人或团队参与进来,为质效保障工做提供更多的解决方案。
平台官网 https://tal-tech.github.io/conan
Github https://github.com/tal-tech/conan
更多详细介绍 https://mp.weixin.qq.com/s/1Cvi5kkqfF9y1rBi97qLwg
柯南官方QQ群