在实践中进行用户测试和评估

2019工业信息安全技能大赛我的线上赛第一场圆满收官。在保障竞赛平台成功稳定运行的同时，更多的仍是思考竞赛平台在本次支撑过程当中的用户体验，用户测试与评估状况。做为专业为工业信息安全打造的人才测评选拔和竞赛平台，实际的竞赛活动就是检验和测试产品最好的试金石，也是用户测试环节的最佳测试环境。
在产品设计与优化过程当中，产品用户测试与评估环节是指请符合测试要求的目标用户来完成一些特定或具备表明性的任务，观察并记录用户使用产品的整个过程，包括用户使用的顺畅程度和情绪等多个方面。测试过程不是应对用户的不满和要求，而是经过观察用户的行为操做及情绪等方面来把握用户的实际使用状况。用户测试有时也会称为产品可用性测试，可用性测试的定义是“特定用户在特定的使用场景下，为了达到特定的目标而使用某产品时，所感觉到的有效性、频率及满意度”。用户测试也做为竞品分析和市场调研的方法，咱们会常常性的使用用户测试的方法对其余厂商的产品进行评测，为自身产品的设计提供参考。
对于目前市面上存在的网络安全竞赛平台而言，用户使用情境和目标就是支撑网络安全赛题展现交互与赛题答案提交，并为选手输出可定量和定性的评估结果。知足了这样的前提，咱们才能使用有效性、效率及满意度等这些标准来对其进行评价。竞赛平台通过在咱们典型的可用性实验室及产品测试团队的可用性测试的基础上，经历了2018工业信息安全技能大赛多个场次的用户使用测试，在产品的可用性上，已经具有了提供网络安全赛题展现交互与赛题答案提交并提供定量和定性评估结果的目标和功能，即产品已经具有了可用性。
在2019工业信息安全技能大赛的支撑上，咱们对竞赛平台后续须要的可用性测试目标进行了进一步梳理，即在2019工业信息安全技能大胜过程中，咱们的产品团队对竞赛平台的可用性测试的测试目标是什么？也就是咱们作可用性测试到底要测那些内容，想知道些什么信息？根据标准的可用性测试方法及流程，通常来说可用性测试主要分为三大内容：
第一：首先是有效性。是否有效就是说用户是否能达成本身的目标，好比网络安全竞赛，有效性就是用户可以进行赛题交互、提交答案并输出定量和定性结果，若是提交不了答案就是有效性出了问题，那这个竞赛平台就没有存在的价值了。因此有效性问题就是首要的必需要解决的问题。
第二：效率。效率就是用户不用作无用功，能以最快路径达成目标，仍然以网络安全竞赛为例，若是用户在竞胜过程中须要反复操做不少次才能完成任务，那就存着效率问题了，严重的效率问题就是有效性问题。
第三：满意度。满意度是在有效性和效率两方面都没有大问题的状况下，有没有给咱们的用户带来不愉悦的体验，这就可能涉及到不少方面不少细节，好比用户注册的时候会不会要求输入过多的信息，或者系统反应及不及时等这种问题。
基于这三个基本要素的标准可用性内容，咱们竞赛平台的可用性测试须要在有效性、效率及满意度上继续深挖，以比赛做为契机，竞赛用户选手做为测试评估的主体，它基于真实的用户数据进行评价，相对客观，拥有较强的说服力。用户测试的目的是发现问题，改善咱们的设计，挖掘潜在的需求。其测试评估价值巨大：
第一，它可以挖掘潜在的需求。挖掘潜在需求是根本，决定了产品的发展方向；
第二，发现并解决产品存在的问题。发现须要解决的问题，包括界面框架逻辑结构交互等等是否合理，用户体验是否良好；
第三，下降产品周期成本。边作边测试评估，经过快速迭代下降交互设计的周期成本，或者对产品迭代提供良好的参考意见；
第四，加强设计说服力。用户测试能够用鲜活的案例，鲜活的数据等加强设计的说服力。
咱们在竞赛结束后以电话调查和采访的方式对选手进行抽样用户测试数据采集，并将采集的测试评估数据记录并进行梳理概括处理，最终输出咱们须要的调查评估数据。在整个过程当中，用户测试基本流程须要精心设计。根据经验，咱们将用户测试基本流程分为四大部分：
第一：首先须要明确本次测试的目标，而后由用户研究员设计参与者在测试过程当中须要完成的任务及测试脚本，因为本次是直接在竞胜过程中对用户进行用户测试，所以本次竞赛选手即为咱们须要招募的测试用户。根据年龄段及社会经验做为招募标准和调查对象筛选条件。由于测试中设计什么样的任务和你要描述的用户操做直接相关，肯定了前者，后者也就更加明确了。
第二：须要在竞赛选手中筛选用户进行数据采集，咱们所邀请的用户必须是目标用户，而且符合本次测试的各项条件。综合目前调查的状况来看，咱们筛选了进入场景题的全部用户做为本次调查和数据采集的对象，并根据设计对应的测试调查任务和问题进行电话逐一采访，成功收回全部测试数据。
第三：进行测试，在正常的产品测试中，咱们会使用可用性实验室及产品测试团队。在本次测试中，咱们直接使用选手的实际使用操做做为测试环境和测试对象，在进行测试中咱们须要观察和记录参与者执行任务的状况。在电话采访中，通常咱们以抛出问题为主，少作建议，在用户不知所措的时候适当地提问或者帮助加以引导。
第四：分析与报告，电话采访结束后，须要对采集的数据进行记录并进行预处理，仔细重读每一个参与者的测试记录，挖掘其中的可用性问题，列出全部的问题并分类整理，判断问题的严重性，整理成为可阅读性的测试报告。
测试报告罗列出采集的问题，还不能直接用于产品的改善任务和优化条目，咱们还得继续分析问题以梳理更多细节：好比如何判断测试用户对某一问题是理性仍是感性的？这就又回到了咱们设计测试任务的初衷及内容层面上，针对这一问题的判断还须要咱们就职务内容自己着手，并就职务内容自己寻找答案。除了答案自己的理性与感性判断，咱们还需对任务内容自己的采集数据进行定量和定性评估，定量评估是对能够计量的部分进行评价，如点击量，使用率等，彻底能够用数据来讲明。定性评估是指对非计量的部分进行评价，如流畅度、温馨性、创造性等进行评价，它只能表示一个度，没法准确用数据来讲明问题。根据采集的问题的价值判断及定量定性评估分析，咱们就能筛选出比较关切的可用性问题并针对性的罗列计划进行逐一解决。
本次用户测试调查帮助咱们找出了一些问题，有益于产品的优化改进。在有效性方面，测试用户均表达了对×××接入场景的网络稳定性的担心、***客户端下载速度受限于选手自己网络速度等问题。因为是第一次采起线上赛场景题接入模式，在调查反馈中，测试用户表示下载×××客户端花费了较长时间，在争分夺秒是赛场上，网络很差的一方将会受限于网络下载而拖慢进入场景的速度，影响与赛题的交互和答案的提交。从产品的可用性角度看，这是一个严重的有效性问题，将会在后续的几个场次中优先解决该问题。其次，测试用户均表达对×××网络的稳定性问题的担心等重大有效性问题。
在效率方面，测试用户但愿在赛题答案示例、***目标IP直接提供等方面提供操做效率。因为赛题答案格式不统一，均但愿在提升答题效率方面，针对每一个赛题可以提供赛题的答案示例，以提高选手寻找答案及拼接答案的操做效率，减小重复的尝试及时间浪费。此外，因为***目标肯定，测试用户但愿可以直接提供***目标IP地址，减小没必要要的网络扫描，由于全部选手的网络扫描会严重占用大量带宽资源，形成网络在接入阶段的阻塞和卡顿。
还有其余各类细节的小问题记录也会帮助咱们改善后续的产品用户体验。综合来看，竞赛平台在实践中进行用户测试和评估，可以最大程度的帮助咱们改善产品、优化体验，发现并解决产品存在的问题。