用户反馈驱动抖音产品体验优化实践

摘要

抖音App天天收到大量的用户反馈，经过NLP智能反馈打标模型赋能了反馈数据场景化标签的构建，实现了面向业务视角的体验指标聚合。词聚类算法实时提炼每日反馈热点，快速聚焦问题发现。构建于智能算法之上的体验管理平台旨在经过技术平台化的方式，结合反馈驱动的机制，从反馈中挖掘出对抖音系产品留存、增加或口碑提高的可能点，推进体验问题治理改进，提高产品体验。

平台背景简介

抖音App拥有亿级别的日活用户量，天天能收到大量的用户意见反馈，用户反馈对于将来的产品开发、改善客户体验和总体客户满意度相当重要。妥善处理用户的负面反馈，有助于有效提升用户忠诚度。从海量级的用户反馈数据中提取有价值的反馈信息，常常面临两个痛点：

• 一是反馈缺乏场景化，没法更精细粒度地对反馈数据进行分类归因，而且阶段性对场景作体验提高。
• 二是反馈有效性差，如何从海量反馈中提取有效的用户反馈信息，进一步进行问题定位，运营改进、反馈闭环、从而达到体验提高。

基于这样的痛点和业务诉求，用户体验管理平台应运而生，旨在经过技术平台化的方式，结合反馈驱动的机制，以产品化数据化的手段从反馈中挖掘出对抖音系产品留存、增加或口碑提高的可能点，推进体验问题治理改进，提高产品体验。平台系统架构图以下图所示：

反馈生命周期

用户提交反馈后，端上按照规定的参数上报至反馈服务端进行存储，反馈后台从数据库捞出数据在控制台呈现，供各角色对反馈数据进行处理和消费。具体示意图以下所示：

如图中所示，体验管理平台位于反馈生命周期的最后一环，在技术架构设计上咱们分红了两个部分，一部分是反馈工做台，围绕对反馈原始数据的打标、过滤、分类等操做。第二部分是体验管理平台，体验管理平台基于标签的分类作场景映射，而后提炼出有价值的数据指标、并对指标数据作下钻延伸，提供画像级分析概括，并提供体验管理专项对问题跟进，推动工单解决，完成体验的闭环。基于上面的认知，咱们将平台化系统分红五个大的模块，分别是反馈工做台、标签场景化、体验指标概览、画像原声深度检索分析、体验专项管理。

NLP赋能场景化标签构建

基于NLP技术的智能反馈打标模型

搭建一个反馈管理工做台是处理反馈进线数据的必备条件，旨在提供对用户反馈的查看、回复、分类、标记。同时维护对分类标签树内容以及逻辑个性化自定义配置。

面对海量用户反馈数据，人工打标是很是低效的。平台经过前置引入无效反馈打标模型，可以过滤无效的用户反馈，提高运营处理效率；经过引入预训练的神经网络技术，理解和识别用户反馈意图，显著提高了用户反馈分类的准确率和及时性。咱们预训练模型训练步骤主要包括：

1. 在用户反馈数据集进行领域自适应预训练，有效学习反馈领域中经常使用的语言知识；
2. 在目标业务数据集上进行任务自适应预训练，有效学习该特定领域下的经常使用知识；
3. 在目标数据集上训练分类模型，可以有效拟合具体业务的分类目标。采用了继续预训练方法以后，用户反馈打标模型效果获得显著提高。

为了解决长尾标签样本数量不均衡的问题，咱们在预训练模型的基础上，采用了标签迁移学习与多标签分类技术，显著提升了长尾标签的预测效果；为了支持运营侧对不一样粒度反馈场景进行分析的需求，同时引入了层次分类技术，可以有效学习标签间的树形结构关系，也在必定程度下缓解了标签样本不均衡的问题，提升了反馈打标模型的总体准确率。

业务场景标签映射

经过反馈管理工做台，对反馈进线数据完成了标签化分类，可是面临复杂的业务产品线以及跨渠道产品诉求，没法精准地将反馈数据和业务产品线关联起来，面向业务视角的体验指标将没法聚合实现。基于这样的诉求，搭建一个可视化控制台提供自主性业务标签配置管理关系，实现业务的可插拔式灵活配置，来完成业务到标签到元数据的底层关联，提高保障平台功能的可复用性。

实现一个业务场景标签映射配置模块，须要涵盖以下功能：对标签配置项的列表展现与检索，新增字段集、编辑与批量操做、发布上线、版本回滚等。

其中比较复杂的部分为新增字段集，归因是标签模型采用的是一级标签+二级标签+三级标签的树状级联结构方式，举例说明，一级标签为：广告相关；二级标签：吐槽广告多、内容不喜欢、体验不流畅；二级标签下的吐槽广告多又能够分拆为三级标签：吐槽卖货广告多、吐槽游戏广告多、吐槽借贷广告多。

而构建于标签之上的业务场景模型一样采用的是树状级联结构模型，如上图所示：业务定义为：抖音极速版。场景定义为：广告相关场景。所关联的标签有：吐槽卖货广告多、吐槽游戏广告多、吐槽借贷广告多等，文中所阐述的业务关系图以下图所示：

数据驱动问题发现

反馈标签场景化将业务场景和底层的数据进行了映射关联，为基于业务维度的聚合分析创造了条件，接下来咱们把问题聚焦到如何将体验问题量化，找到合理的指标是问题的重中之重。NPS：NPS的核心就是调研用户是否愿意将这个产品推荐给其余人，以此体现用户是否对你的产品真正满意。虽然NPS是比较不错的体验指标，可是反馈数据源重点关注的是用户评论和产品建议，和NPS有必定差别，基于上面的背景，设计了求助率这个指标，旨在客观衡量体验问题。从平台设计的角度上看，指望随着产品体验问题的改进，求助率是应该不断下降的过程。

体验指标量化

咱们定义求助率为：反馈总量/百万DAU。 DAU定义为：日活跃用户数量。百万DAU以百万日活用户作最小单元。原则上随着体验问题的不断改进，求助率会呈现降低趋势；反馈量TOP场景也是重点关注的体验指标。根据系统前置构建的场景标签化模型，技术上能够很是方便地聚合出反馈量TOP场景，与此同时能够附加一些体验指标，好比反馈变化率TOP场景、反馈变化量TOP场景。

反馈变化率定义为：对所选周期下最后一级问题进行周期环比，求出变化百分比，并正序取Top5展现。反馈变化量定义为：对所选周期下最后一级问题进行周期环比，求出变化量，并正序取Top5展现。与此同时，咱们以天为维度，将求助率和反馈量TOP作关联，实现指标间的下钻和关联，提高数据指标的联动性。热点高频热点词，可让运营同窗直观地看到必定时间区间下的热点关键词，也是衡量体验指标的一个重要参考点，如下将重点介绍聚类下的实时热点高频词。

聚类下的实时热点高频词

为了可以实时展现反馈数据中用户描述的主要内容，咱们开发了一款词云工具，可以在平台上实时展现用户反馈的关键词和关键短语。这款词云工具涉及的NLP技术包括智能分词、新词发现、关键词抽取和词聚类算法。传统分词算法分词粒度较细，会致使词云的信息量不足，难以直接观察出背后的主要问题，而咱们提出的智能分词和关键词抽取算法，经过剔除反馈描述中的无效成分，仅保留有效文字内容，可以有效挖掘反馈描述中的关键短语，解决了词云信息量不足的问题。

为了不分词算法不许确致使关键内容的缺失，咱们提出了新词发现算法，它可以定时挖掘反馈数据中的新词，并及时将新词加入到智能分词模块中，从而支持统计新词的词频。词聚类算法是为了找到词云中的类似热词，将类似热词的出现频次进行汇总展现，可以帮助运营侧更准确和高效地发现问题。

画像原声检索提高体验问题分析定位

用户画像即创建在一系列真实数据之上的目标用户模型。面对天天数量庞大的反馈意见，从这些反馈中梳理出用户画像，可以帮助咱们具体地、标签化地、有针对性地认识和挖掘出目标用户，定义他们的特征，聚类他们的诉求，并同步给到运营和产品人员，为后续进一步提高用户体验提供数据支撑。

体验指标能够宏观地、粗粒度地定位聚焦到场景问题，可是缺少对相关原声的定位，追踪和分析。原声画像分析模块旨在构建一个原声数据索引分析查询系统，经过对各个维度的聚合分析、实时索引分类原声数据，为体验指标的问题分析提供了便利。以抖音侧为例，咱们提供了性别、城市、年龄、手机品牌、手机价格、手机系统等多个维度的筛选条件和画像分析。

画像分析对体验指标分析与问题定位有着很是有效的帮助，举例说明以检索字体问题关键词得出的反馈用户画像中，Android的反馈量明显超过其余系统，基于此能够提出相应的体验专项治理方案来重点跟进Android版本等相关问题，此项优化能够大大减小该反馈的梳理，下降求助率体验指标。由此能够看出体验原声检索对体验问题排查、分析都有着不可缺乏的做用。

体验管理造成闭环

从体验指标、原声分析中挖掘出的体验问题或改进点，须要被及时地反馈到对应的产研同窗以制定方案执行改进，预期收获体验指标的正向反馈，提高用户满意度。

体验管理专项指望经过web平台化的能力，打通反馈驱动改进的业务闭环，在用户与产研之间造成有效链接。经过关联反馈关键词、标签或具体反馈ID，精准地提出体验专项需求；经过严格的流程，高效管理体验需求的执行进度；经过各环节的权限管控，更精细化地管理各个业务产品线的体验问题；经过操做记录，清晰地展现一个需求从提出到完结的执行周期。

体验管理专项做为反馈驱动业务的最后一环，预期收益为下降用户求助率。但业务不断迭代，新的feature可能给用户带来新的问题，所以总体/粗粒度场景下的反馈率、求助率并不必定能反映体验专项改进的效果，而细分标签下的反馈量变化趋势能更精确地评估体验专项的效果。此外，平台提供了红黑榜机制，统计各个业务场景下体验问题被提出后的响应率与解决率并进行排行，展现相关处理人，以激励推动体验业务改进。

• 定义响应率：最近双月内，在某一个场景下，「建立且接口人有过操做的专项数-废弃专项数」/「建立的总专项数-废弃专项数」。
• 定义解决率：最近双月内，在某一个场景下，「建立且状态为“已完成”状态的专项数」/「建立的总专项数-废弃专项数」。

目前的指标并不能足够精准地评估体验专项管理对于业务的改进程度，这也是一个往后努力的方向。

平台数据索引加速方案

构建于海量数据之上的数据检索系统，一般会面临比较大的计算耗时，若是不作合理的架构优化，对于平台自己使用起来体验会很是差，不利于运营人员分析和快速定位问题，为此设计一套数据加速方案，指望经过技术的手段来优化总体上网站的索引检索耗时，提高平台级的检索速度，减小没必要要的计算资源消耗，提高平台稳定性、易用性。

为了尽量提升接口响应速度，减小异常咱们使用了一系列方法进行保障：

• 离线预处理：因为部分指标是T+1的，为了减小在接到用户请求时的计算量，咱们使用离线的方式对数据进行了预处理。对于一些计算量大，耗时长，变化小的请求，咱们使用天级别的离线任务计算出了天天的结果，在后续计算中直接使用预处理的数据进行计算，以减小计算量，加快接口响应。

• 缓存刷新：有一些常见的场景，好比总体的求助率趋势、词云、反馈重点问题等， 存在大量的重复请求，若是缓存过时，没法命中缓存，这些请求的响应时长会明显增长，进而影响用户体验，为了对这部分请求进行更进一步的优化，咱们定时对缓存进行刷新，确保常见请求直接命中缓存。

• 兜底数据维护：为了应对离线预处理数据和数据源都异常的极端状况，咱们构建了兜底策略对极端场景进行兜底。兜底数据刷新任务会定时维护兜底数据，当正常请求异常的时候，咱们会从兜底数据读取数据。

• 用户请求过程：一个完整的用户请求过程以下：后端接到用户请求以后，首先请求缓存，若是缓存命中，直接返回缓存的结果。若是没有命中缓存而且预处理数据存在，尝试根据离线任务预处理的数据进行计算，不然根据原始数据进行计算，计算成功后，更新缓存，返回结果。极端场景下，当缓存无数据、离线任务异常、数据源异常同时出现时，咱们直接从兜底数据中查询数据。

总结

体验管理平台基于用户反馈数据，结合技术化的手段将体验管理线上化、平台化，旨在能有效改进抖音侧产品体验问题，真正落实让用户加入到字节的发展中来，让用户产生归属感。在实践过程当中沉淀出反馈工做台、标签场景化、体验指标概览、画像原声检索分析、体验专项管理五大核心模块，支撑了抖音侧近几十个业务场景，为产品改进和体验提高保驾护航。更好地抽象平台系统能力，打造一个业界领先的体验管理平台，是咱们的愿景和使命。

加入咱们

咱们是字节跳动互娱研发效能团队，互娱研发负责抖音、抖音火山版、剪映、FaceU、轻颜、直播、音乐等多款明星产品的研发，目前，抖音日活（DAU）已经突破6亿，并继续保持高速增加。

研发效能团队主打服务化+智能化, 旨在经过工具平台+算法，赋能互娱的各个业务场景，团队职能包括但不限于提高研发效能，保证内容质量，优化用户体验，保障业务安全等。

团队拥有算法，工程（前端、后台以及客户端）、数据（大数据、DA）、产品、测试等多种职能岗位，能够高效自闭环进行智能平台产品的设计研发，具备多个公司级影响力的智能化平台产品成功落地经验。

团队发展迅速，年轻富有朝气，注重技术氛围建设，积极参与国内外各顶尖行业技术会议，输出高质量技术专利和相关论文，工做Base地有深圳、杭州、北京多地可选。

加入咱们，让你的每一行代码都能服务全球亿万用户。

简历投递邮箱：iesep@bytedance.com；邮件标题：姓名 - 技术栈 - 研发效能。