业务场景下数据采集机制和策略

1、场景描述

作面向C端用户的产品，十分依赖用户数据的收集，下面都见过这样一张数据分析图，经过链路上各个环节的数据采集，分析对比出曝光产品的交易量：

经过对商品的浏览-点击-交易页面-支付购买等，分析产品的交易场景，这里是从大的业务方面观察数据的链路，实际上在分析的时候要考虑不少细节问题。

2、数据来源

用户数据来衡量用户或者产品的各方面纬度是最具备说服力的，因此在互联网的产品后期开发和优化过程当中，对数据的采集和管理一直都是很是重要操做。

如今产品常见的客户端有PC端、H5端、APP端、小程序等各个场景的入口，更有一些物联网设备或者专门作的数据采集机制，不一样的场景下的数据类型都是要区分的。经过不一样端口下各种数据埋点，获取各个场景下的不一样事件的数据来分析产品的优缺点，获取具备建设性的分析结果。

例如模块一中的案例：经过对端口的分析若是在APP端商品A的推荐和交易率最高，在小程序端推荐效果很差，那就能够考虑针对APP和小程序端采用不一样的推荐机制。

3、事件类型划分

数据须要采集，而且要区分不一样端口的数据只是基本的意识层面，思考采集数据的事件类型是最基础的操做。这里要从产品的特色去考虑，不一样一律而论。下面提供一些基础采集数据和一些常见案例，关于核心业务数据相对都是精细和完整的，基本具有读库直接分析的条件。

基础信息

属性	字段	类型	描述
操做终端	app_client	String	Android/IOS/小程序/H5等
终端版本	app_version	String	版本号标识
用户标识	user_id	Integer	用户ID
网络地址	ip_address	String	用户IP信息

这些信息是存在任何采点数据中的，经过这些基础信息采集，用来分析不一样端口下用户的特色，以此能够进行差别化的管理和运营。

登陆信息

属性	字段	类型	描述
登陆时间	login_time	Date	用户登陆时间
在线时长	online_time	Long	在线使用系统的时间

经过对登陆和在线时间，以及一些使用信息，判断该类用户活跃度，是否须要重点运营或者营销激活。

业务基础

属性	字段	类型	描述
服务类型	service_id	Integer	不一样的业务服务
模块划分	model_type	Integer	例如订单/支付/物流等

以此做为业务数据采集的基础信息，用来对业务数据作总体的划分和分析，具体的细节数据须要根据具体场景设计。

商品案例

属性	字段	类型	描述
商品信息	product_id	Integer	商品信息
展示位置	position_id	Integer	例如：列表/推荐位/广告位
店铺信息	shop_id	Integer	所属店铺信息
搜索信息	key_word	String	搜索关键字
当前单价	unit_price	Double	商品当前单价
当前销量	sales_num	Long	商品当前销量

这里是按照用户浏览行为作的一个简单的数据采集信息，这种机制在实际的电商APP中很常见，产生点击或者搜索的商品会被重点推荐，若是没有这类动做，则根据平常浏览信息作推荐机制。在实际的开发中，采集的数据远比这里复杂，须要根据实际业务须要去考量。

营销案例

属性	字段	类型	描述
活动位置	location_id	Integer	入口位/引导页/推荐位/分享连接等
营销产品	product_id	Long	营销活动主打产品类型
产品详情流量	detail_num	Long	活动产品浏览量统计
订单确认页	detail_num	Long	活动产品浏览量统计
活动交易统计	trade_num	Long	活动最终转化统计

经过运营活动进行产品营销，活动结束后对数据进行复盘统计，而后根据活动轨迹数据的分析，平衡营销产生的价值和成本，不断调整活动策略，优化运营思路。

4、实现方式

一、业务层面

从业务角度来看，除了一些用户无感知的采集操做以外，还能够基于问卷调查方式，例如不少APP在使用一段时间后都会弹出用户评价相似的评分系统，或者意见留言的入口，更加直接的搜集用户反馈信息。

二、技术层面

最多见的就是SDK埋点技术，针对特定用户行为或事件进行捕获、处理和发送给服务器的相关技术及其实施过程。这种方式用来处理一些非核心业务十分常见。若是是一些核心业务，可能须要自定义的方式采集数据，避免形成数据泄露的问题。

三、数据积累

当业务不断发展，须要分析的场景会愈来愈复杂，并且采集的数据量达到必定规模以后，数据管理的和分析的难度就会变大，就会须要专业化的流程和智能工具，例如BI工具，可视化组件，数据大屏，多场景联合分析等。

5、源代码地址

GitHub·地址
https://github.com/cicadasmile
GitEE·地址
https://gitee.com/cicadasmile

推荐阅读：编程体系整理

序号	项目名称	GitHub地址	GitEE地址	推荐指数
01	Java描述设计模式,算法,数据结构	GitHub·点这里	GitEE·点这里	☆☆☆☆☆
02	Java基础、并发、面向对象、Web开发	GitHub·点这里	GitEE·点这里	☆☆☆☆
03	SpringCloud微服务基础组件案例详解	GitHub·点这里	GitEE·点这里	☆☆☆
04	SpringCloud微服务架构实战综合案例	GitHub·点这里	GitEE·点这里	☆☆☆☆☆
05	SpringBoot框架基础应用入门到进阶	GitHub·点这里	GitEE·点这里	☆☆☆☆
06	SpringBoot框架整合开发经常使用中间件	GitHub·点这里	GitEE·点这里	☆☆☆☆☆
07	数据管理、分布式、架构设计基础案例	GitHub·点这里	GitEE·点这里	☆☆☆☆☆
08	大数据系列、存储、组件、计算等框架	GitHub·点这里	GitEE·点这里	☆☆☆☆☆