聊天机器人中的 A/B 测试

原文做者：Oksana Oboishchyk
原文连接：A/B 测试在 Chatbots
编译：一熊翻译组 Mason

目前，没有太多的工具和平台为聊天机器人提供 A/B 测试。可是，A/B 测试是在部署聊天机器人至运行环境时检验对真实用户可行性最重要的营销策略之一。

对具备自身特性的聊天机器人进行 A/B 测试本质上是为了达到同一目的：它能够帮助客户了解流程中的任何一部分。

有了聊天机器人，不只是特定区块须要 A/B 测试，甚至像是不一样类型的初次使用场景或购买流程的区块顺序，也须要使用 A/B 测试。经过这样作，咱们能够肯定用户流失，并作出改善用户体验的重要改变。

聊天机器人在 A/B 测试中须要去衡量的三个最重要的指标是：

• 留存率

• 用户流失

• 主要转换

留存率是留存下来的聊天机器人使用者数量相对于尚在徘徊中的使用者数量的比率。留存率的目的是监控聊天机器人在吸引与留住用户过程当中的表现。一个结构良好而且在用户体验上极具吸引力的信使聊天机器人在留存率上高达 70%，而普遍使用的电子邮件营销活动只有 40%。

用户流失反映了在整个流程中，访问者在何处离开既定的主要流程而走向了彻底偏离了意向的逻辑。这一指标的主要反映了你的聊天机器人在何处存在漏洞令用户不断流失。其意味着你能够在用户体验区块与其余因素上有一些认知：那些用户在此处得到应有的用户体验前就已经感到乏味或是受挫。

对话一般会表明重要的用户操做，当有人与你的聊天机器人中对你的业务十分重要的用户体验关键点进行交互时，这些用户操做将被记录下来。例如，点击用户流程的特定 CTA，与代理商实时通信，完成结账过程等。

一些聊天机器人构建平台已经为聊天机器人的 A/B 测试提供现成的解决方案。若是你对这些工具不满意或者须要定制解决方案，并且你还会编程，那么你彻底能够设置自定义跟踪并以简单的图形或表格的形式对这些数据进行可视化来解决问题。

当进行 A/B 测试时，创建适当的检测以提供有效信息十分重要，由于您可使用这些信息来改善您的聊天机器人流程以及进阶性能。A/B 测试中的每个检测均可能包含拥有相同功能的两个以上的变体，或须要验证的特定用户体验元素。例如，咱们能够在主 CTA 按钮上设置三个不一样的选项来提示用户购买不一样的款式。或者也能够是新手入门流程的变化，比方说带有一个简单的图像欢迎消息与包含副本和按钮的文本选项，抑或者是一个图库或列表视图形式的菜单。其实可供选择是很是多的。

如下是用 A/B 测试检测你的聊天机器人的具体步骤：

1.选择一款 A/B 测试的工具或平台，此前提到过，你也能够在 JSONs 的帮助下设立一个自定义追踪，若是你会编程的话。

2.检查一下用户体验流程以及肯定好哪些地方是在上线前须要进行 A/B 测试的。若是您不经过 A/B 测试来检测用户历程中最重要的几点，那么你可能会失去大量有价值的数据，这些数据可能会帮助你在将来创建更具吸引力的流程。

3.开始第一个检测，在你的机器人部署至运行环境并将它开放至真实用户后采集数据。

4.对比分析收集到的数据并根据你的观点进行修改。

5.基于上一个观点开始下一个检测，并创建这一循环。

至此，你的聊天机器人的留存率与转换率应该会逐渐提升，并为其所服务的业务或公司提供更多价值。

做为 Chatfuel 的活跃用户，我推荐使用 Chatfuel 中的序列进行 A/B 测试，它容许你建立单一或多个片断的流程，这些片断能够根据特定或随机的规则和时机推送给订阅的用户。