消息点击率翻倍的背后——闲鱼无侵入可扩展IFTTT系统

时间 2019-12-05

标签消息点击率背后侵入可扩展 ifttt 系统繁體版

原文原文链接

1、面临问题

在闲鱼生态里，用户之间会有不少种关系。其中大部分关系是由买家触发，联系到卖家，好比买家经过搜索、收藏、聊天等动做与卖家产生联系；另一部分是平台与用户之间的关系。对这些关系分析以后咱们发现这些关系中存在两个问题：数据库

用户产生关系的层次不够丰富；
现有系统只维护了一部分用户关系，包括收藏、点赞等，用户关系的层次还不够丰富。
用户之间关系是单向且不够实时；
在现有的玩法中，买家能够经过多种行为与卖家产生联系，但卖家不能主动与买家发生关系和互动；并且平台计算的关系都是离线的，对用户的吸引力不足。

上面提到的场景通过抽象概括以后都是同一个范式：当某个条件被知足以后，就会触发相对应的动做。这个范式是IFTTT的基本理念，而闲鱼IFTTT就是对这些问题的解决方案。网络

2、IFTTT概念

IFTTT是一个被称为 “网络自动化神器” 的创新型互联网服务理念，它很实用并且概念很简单。IFTTT全称是数据结构

If this then that分布式

，意思是若是知足“this”条件，则触发执行“that”动做。IFTTT由三部分构成，分别为Trigger、Action和Recipe。性能

能够看出IFTTT自己概念并不复杂，它的真正魔力在于“由简单组成的复杂”，也就是由众多简单的IFTTT流程相互衔接成跨越整个互联网、跨越多平台、跨越多设备的状态机。测试

2.一、闲鱼IFTTT

闲鱼IFTTT是基于闲鱼的业务场景与IFTTT理念结合后产生的，提供IFTTT标准协议封装，对业务无侵入可扩展的服务编排系统。大数据

闲鱼IFTTT的两个特性对应上述两个问题，分别是：优化

多维用户关系感知

多维指的是覆盖面，闲鱼IFTTT经过更多维度的挖掘，抽象并维护了更丰富的用户关系。基于用户关系数据，咱们能够产出用户画像，并经过更有效的方式触达用户。this

实时用户双向互动

闲鱼IFTTT底层具备对用户关系大数据的高效存储和处理能力，以支持上层业务中用户关系实时处理；闲鱼IFTTT不只支持买家到卖家关系，并且经过设计天生支持卖家到买家关系。阿里云

闲鱼IFTTT把以前平台与用户的互动、买家到卖家的联系，切换称闲鱼用户之间自然的关系互动，对用户骚扰更少且激活拉回的效果更好，咱们基于这个场景设计闲鱼IFTTT的技术方案。

3、技术方案

首先按照IFTTT规范对业务进行建模，分为Channel、Trigger和Action层，其中Channel层是数据底层，将Trigger和Action关联后组成标准Recipe。

Channel
Channel层在闲鱼IFTTT的做用是保存和管理用户关系数据，Channel层定义了用户关系的元数据结构，包括关系类型、源帐户和目标帐户。Channel层是闲鱼IFTTT的基石，Trigger和Action均基于用户关系数据进一步抽象业务逻辑。
Trigger
Trigger是业务上自定义的触发事件，与业务息息相关，多是关注的人上新、浏览宝贝降价或者是参加的百币夺宝活动开奖等。当Trigger触发后，闲鱼IFTTT会根据Trigger类型和配置的关系类型计算用户名单，并调用Action层进行处理。
Action
Action层处理对象是Trigger触发后计算的用户名单，能够给名单里的用户发Push，发权益或者其余定制逻辑。Action自己是标准化、可插拔的组件，业务上能够利用Action组件对用户名单作AB测试，快速实验不一样Action策略。

接下来咱们说一下闲鱼IFTTT详细技术方案，方案以下：

总体技术方案按照业务建模的结构图细化，补充依赖的技术组件。总体流程再也不细述，针对流程中重点模块详细说明。

3.一、场景快速接入

设计场景快速接入的目的是让业务对接入闲鱼IFTTT无感知，由于在最开始的设计中，场景接入是准备经过在业务逻辑里增长AOP切面，将业务数据和场景上报。但由于这种方式对业务自己有必定侵入，增长业务执行的RT并且不够灵活，最终被否决。

而如今的场景快速接入方案解决了这些问题，经过SLS接入全部应用的海量网络请求日志，记录请求的URL、参数和响应；将SLS做为Blink流计算任务的数据源；根据diamond动态下发的规则实时筛选网络请求URL和参数，把数据按照指定格式组装后上报给Channel层。

场景快速接入方案将业务逻辑与场景接入解耦，支持快速接入，灵活变动且延迟低，是针对大数据场景接入的高性能解决方案。

3.二、计算用户名单

计算用户名单模块采用责任链模式设计，由于在不一样Trigger场景中，业务对用户名单的计算和筛选逻辑都是不一样的。经过责任链模式，将主流程与业务筛选逻辑解耦，并支持各业务灵活定制筛选逻辑，互不干扰。

3.三、PushAction

Action层是闲鱼IFTTT中最重要的一环，会直接触达到用户，Action的逻辑会直接影响用户对平台的直观感觉和活跃率。消息Push是Action中最多见的逻辑，更要防止用户被骚扰，PushAction逻辑以下：

敏感人群过滤；
疲劳度校验；
对发送人群进行AB实验；
组装消息；
将Action各节点日志同步到SLS，方便检索和排查问题；
统计消息发送数据及点击数据，为业务后续决策提供依据；

3.3.一、疲劳度

疲劳度是防止用户被骚扰的关键，咱们针对疲劳度进行了分层设计，分为三层，第一层为用户级别疲劳度，控制一个用户在一个周期内收到消息数量；第二层是业务维度，控制用户在一个周期内收到某个业务的消息数量；第三层是目标级别，控制用户在一个周期内收到同一个发送者消息数量。

在业务维度层面，支持灵活控制多个业务联合疲劳度，保证用户不会被消息过分骚扰。

3.四、用户关系存储

用户关系数据是闲鱼IFTTT的基石，它的特色是存储量级大，达到TB级别；并且对存储和查询的性能要求高，TPS和QPS的峰值都在一万以上。通过调研，咱们发现集团内部开发的Lindorm能够知足需求。

Lindorm是阿里内部基于Hbase自研的高性能KV存储数据库，对Hbase的性能和稳定性均有必定优化。闲鱼IFTTT采用Lindorm做为用户关系数据存储，经性能测试验证数据读取QPS达到7万，数据存储TPS在10万以上。Lindorm自己性能优异，为闲鱼IFTTT高性能奠基基础。

4、效果验证

闲鱼IFTTT自上线以来，已支持关注上新、浏览宝贝降价和租房小区上新等多个业务场景，提供买卖双方实时双向互动能力，平均天天处理关系数据数亿条，处理Trigger量达到上千万，处理Action量达到亿级别，消息点击率较离线push提升1倍以上。

闲鱼IFTTT目前支持的是用户互动场景，后续咱们将结合闲鱼自身业务特色，对IFTTT进行更高维度抽象，封装标准Recipe接口，将闲鱼IFTTT打形成提供流程编排、管理能力的服务平台。

在我看来，IFTTT从2010年推出以来，在国外有很大的热度，在互联网和物联网领域都有专门的公司和团队在研发，IFTTT的概念虽然简单，却经过标准化协议知足用户的强需求-让各类互联网产品为用户服务。这其实也给咱们互联网从业者一些思考：在新机遇面前，到底是快速投入比较重要仍是抽象标准协议解决一类问题更加有效？

5、名词注解

SLS：https://cn.aliyun.com/product/sls
Diamond：阿里内部研发的持久配置管理中间件；
Blink：https://data.aliyun.com/product/sc?spm=5176.10695662.1131226.1.bf495006EWuVAB
MetaQ：阿里内部研发的分布式、队列模型的消息中间件；
Lindorm：阿里内部基于HBase研发的新一代分布式NoSQL数据库，阿里云相似产品：https://www.aliyun.com/product/ots?spm=a2c4g.11174283.cwnn_jpze.59.2f5a15c3NH30me；
Tair：阿里内部研发的高性能、分布式、可扩展、高可靠的Key-Value结构存储系统；

本文做者：闲鱼技术-剑辛

原文连接

本文为云栖社区原创内容，未经容许不得转载。