高德技术评测建设之路

前言

近几十年是互联网高速发展的时代。随着互联网行业的发展壮大，必然会出现角色的细分，从而演化出了不一样的职能岗位。随着日益激烈的市场竞争，修炼内功，提高产品效果也成为了各公司发展的重要工做。产品效果如何评估？用户体验如何度量？本文试图阐述评测这一新岗位在高德的主要职责，发展进化过程，以及这一岗位所负责的产品效果评估手段与体系搭建。

当你在各搜索引擎输入评测二字时，看到的相关搜索一般是这样的：

这些问题其实能表明大部分人对评测的了解——就是除了游戏评测、手机评测、汽车评测、生活用品评测以外，人们对评测其实不太了解。互联网公司里Title是评测的同窗又是作什么的呢？也许你们的了解就更少了。

作了三年多的评测，在第一年常常面对的灵魂拷问就是：“大家评测是作什么的？”这种问题回答起来，基本相似于哲学的终极三问了：“你是谁？你从哪儿来？你到哪儿去？”

评测是谁？这是评测的定位问题。评测从哪儿来？这是评测的根基和起源。评测要到哪儿去？这是评测的发展目标和方向。

评测是谁？

简单地说，评测是评估产品效果的团队。但愿能站在用户的角度，在上线前验证需求效果，在上线后经过对自身、用户数据和竞品的全面分析，创建起产品立体的效果评估体系，也就是评测体系。

评测从哪儿来？

要回答这个问题，其实就是——为何要评测？

如同每一个版本更新，咱们都会关心性能如何同样，当上线了新的策略时，你们也会一样关心产品的效果。产品效果如何评估？策略相关的需求开发完成以后，研发实现的实际效果是否和产品经理的预期一致？实际效果又是否和用户的预期一致？在理想状况下，这三者应该是无差别的。但咱们也应该有衡量它们之间是否有差别的方式，给出效果变化是否正向的结论，以更好地保障用户的使用体验。

此外，即便上线前，全部人都一致给出了正向结论，认为需求上线后必定会给用户体验带来极大提高。真实的产品体验如何，仍然得用户说了算。比较大的修改能够经过AB实验的方式圈出小部分用户，快速收集用户数据，进一步对需求效果是否正向作出评价。或者直接上线，经过对行为数据及用户反馈的分析来完成线上评估。

同时，要在市场上找准本身的位置，对竞品的分析必不可少。

有了这些效果评估及分析的需求，就有了评测团队。

如何进行评测

上线前的离线效果评测及分析、AB实验及分析、上线后的指标监控及问题分析、问题挖掘，竞品监控和分析是常见的评测手段。

1、离线评测

上线前，针对产品的需求，评测的职责是经过各类方式分析及验证产品效果，给出是否能达到上线标准的结论，同时分析出头部问题所在。

技术评测团队成立之初，主要建设的部分有：肯定合做流程、建设评测专业能力和建设评测工具。

• 合做流程

对标一个版本开发的项目流程，从需求肯定到开发，到测试验证再到上线。评测从需求串讲阶段开始，明确有哪些需求涉及到效果变化。再根据变化状况制定评测方案，同时检查工具是否符合须要，如不然进入工具快速开发阶段。而后获取评测数据，进入评估验证阶段，最后发送报告，给出需求是否经过评测的结论，并对出现的问题进行总结分类。

对于评测介入的不一样业务线来讲，评测的流程大体相同。但因为业务不一样，评测方案与方式会有很大不一样。

• 评测方案

根据产品需求，明确效果修改影响范围，从而肯定评测样本、评测方式和评测标准。

• 评测样本

评测样本一般会根据需求影响范围的不一样，区分为随机语料和特定语料。

特定语料通常针对需求修改的特定维度、类型进行抽取，目的是保证评测任务的覆盖率。随机语料则是为了反映需求的真实影响范围。当一个评测任务须要使用特定语料时。一般建议使用特定及随机语料各一份，以同时保证足够的覆盖，同时了解真实影响范围，确保不会出现不符合预期的变化。

除真实语料外，在特定场景下也会使用本身构建的语料。一般缘由为：1）策略上线以前没有真实线上语料；2）影响的场景过小，在真实语料中很难找到足够的Case。

• 评测标准

评测标准一般涉及到一个概念，即真值。当某类数据在现实世界中有惟一正确答案时，即有绝对真值存在，如数据信息。所以咱们对这类数据的评价标准就是是否跟真值一致。

另外一类是相对真值。来源能够是用户日志。例如，当咱们在判断提供给用户的预计到达时间（ETA）是否正确时，能够用用户在起终点之间的真实行驶时间做为真值和咱们的预估时间进行对比。但因为单一用户的实际行驶时间受我的行驶习惯以及单次的行驶状况所影响，并非彻底准确的。所以是相对真值。在搜索等业务线，用户的点击行为，也能够成为相对真值，从而成为效果评测的标准。

是否有真值，真值是否容易获取，可否大批量自动化的获取，是在确认评测标准时须要作的判断。

• 评测方式

对应不一样的评测目的，咱们给出不一样的离线评测方式。有真值的业务，经过真值的自动获取或者标注，能够实现自动化评测。而无真值的业务线，判断效果好坏的成本较高，一般须要进行人工评测或者半自动化评测。

人工评测，顾名思义，就是靠人力打分。各搜索公司大概是最先对本身的产品进行效果评估的，谷歌、微软、百度、苹果等，都采用了相似的方式对质量进行评价。

Google曾经发布过长达164页的人工质量评估指南。百度和必应也发布过相似的文档。

苹果在介绍本身的评测体系时，也曾经专门解释过Human Judgement metrics, why we track them?

• 能够在上线前发现版本问题。
• 人工评测的指标与定量指标紧密关联。
• 能够定义一个版本的总体质量，并可持续跟进效果变动。
• 比用户反馈更详细，更容易定位问题。

人工评测缺点不用多说，成本高、覆盖面小、效率偏低。由于它的优势，目前仍然是各公司评测体系不可缺乏的一部分。与别的评测手段结合使用时，能起到很好的效果。

要保证人工评测的质量和效率，有三个关键点，一是标准，二是流程，三是工具。

标准文档，相似于操做手册，目的是下降人员培训成本，并在一些较难判断的Case上，尽可能减小你们认知上的差别。因此标准文档应该越傻瓜越好。定义明确、全部的特殊和例外场景都有示例、在实践中反复检验，而且保持更新频率。文档更新应该有专人负责，而且明确更新周期，同时将更新点同步到全部评估人员。

人工操做错误在所不免，没人能达到百分百的准确。同时须要人工评测的评测对象，一般自己没有客观统一的肯定答案，所以你们不免在判断上有差别。这些问题都须要从流程上加以保障。如同一Case必须多人标注，仅保留一致率较高的Case，不然便丢弃。或者采用初审复审制，经验较少的人员进行初审，高级人员进行复审。

盲审，这种方式一般在对比时使用，去掉新旧版或者左右版的标识，而且让结果随机出现，从而保证评测人员的客观性，不受主观因素影响。

人工评测中的人，一般也有两种身份。一种是普通用户，一种是专家。专家评测须要站在更专业的视角，结合本身对业务的理解和经验才能得出结论。另外一种则是普通用户也能站在本身的视角给出效果好坏。后一种能够进行众测，达到较大范围的收取用户体验与反馈，同时得到一些真实数据支持迭代优化的效果。地图导航因为其专业性，一般须要进行专家评测。

• 评测工具

评测工具是评测效率和质量的保证。核心功能包括，数据仓库、任务管理、任务的抓取和解析，diff统计和筛选，任务实例的展现、评测、流转，抽样、分配，结果管理、自动化报告。

通用流程以外的任务类型、打分方式、 Case形态均可以本身定义。因为大部分是对比类的评测任务，如何作diff也很是关键，尽可能把业务关注的各个重点都进行diff差分。以便快速了解迭代效果影响面，以及快速定位问题。专家型评测在分析和定位问题时，还须要辅助分析或者判断的数据及工具。工具的接入经常能极大地提升评测效率。

人工评测可以良好运行，有了必定的评测经验积累和业务了解以后，开始进行半自动化和自动化的评测建设。

方式包括定义指标波动阈值和极端Case的冒烟评测，及模拟人工评测的自动打分模型。

自动打分模型经过学习人工评测的特征，自动给出GSB的评分，统计评分结果，对评测任务的效果进行初步断定。目前能够成为辅助判断的参考手段。

冒烟评测先定义出业务核心关注的场景和维度，设定指标。并根据既往评测经验计算出可接受的波动阈值。另外定义出在效果变化上不可接受的恶劣Case。对于部分须要快速验证上线的实验，能够实现缩短评测周期，并保证无异常的效果。在部分业务线借此实现了自动发布上线的过程。

指标分析+异常检验的评测方式，是目前无真值业务线离线评测的最佳实践方式之一。经过定义总体指标、场景指标、异常指标，造成较为全面的指标体系。观察新版本在不一样状况下的指标总体波动和分布变化。在过程当中筛出异常Case再进行人工校验。最终根据指标变化状况和人工检验结果给出结论。如无异常则能够快速经过评测。

最后，路测是导航产品效果验证的终极手段。从用户视角体验并评估全过程。虽然成本高，效率低，但必不可少，与其余手段并用，也是上线前效果保障的方式之一。

2、AB实验

部分需求尤为是模型调优。须要上线观察效果。所以在快速经过离线评测以后，进入AB阶段进行效果评估。

AB的核心链路是分流打标、指标观测和实验结论产出。关键点是实验的科学性。效果评估链路中，AB能力的具有不难，但AB实验的建设是个长期的过程，在此不赘述。

3、线上验证

通过离线验证、AB实验，证实效果都是正向以后，需求一般全量上线，上线以后的效果如何，须要对线上指标进行分析，并观察用户反馈状况，了解是否在核心指标上有预期的收益，以及观察指标是否有异常变化。

一个产品的核心是知足用户需求，创造用户价值。所以是否知足了用户需求，用户满意度如何，产品在市场上的状况怎么样，必然是一个产品创造者要长期关注和回答的问题。以上即是咱们试图去回答这些问题的方式。

结语

评测的建设过程，其实也是产品效果评估立体体系的搭建过程。这个职责在任何一个互联网公司都须要有人承担。不过角色也许是测试、也许是产品、也许是运营。在高德，之因此把这个角色独立出来，源于对用户体验和产品效果的重视。这一体系固然远远未臻完美，还在不断搭建进化的过程当中，咱们始终但愿可以经过不断努力，让出行更美好。