运行三年，日活百万的微服务数据分析架构

架构使用的语言知识

这几年数据分析迅速发展，咱们也作了一个微数据分析工具。该产品已成功运行三年，知足日活百万的企业。产品结构很简单，用世上最简单的语言php，最广泛的数据库mysql，服务器能够选择apache也能够选择nginx，一切看你本身的喜爱。

1、微服务架构图

整个流程图：
一、SDK上传数据到服务器，若是安装redis作缓存，数据会最早进到redis，而后定时抽取数据到DB服务器。有了redis能够大大提升并行数据处理能力。
二、数据库收集原始数据，存储过程将数据按照不一样维度统计各个指标数据，同时将数据汇总表。
三、前台报表展现，实时报表、小时报表和天报表数据展现。最好作到读写分离。

2、功能架构

功能架构主要包括功能、角色和权限三部分。功能是企业服务，用户使用的每个功能，就是企业的每个服务。角色是用户操做的归类，功能与角色的对应关系及权限。了解系统架构的现状，从功能架构开始。

3、应用架构

应用架构的内容包括现有架构图、web应用现状和接口架构。其中，接口是应用层面的关键，它是程序之间交互的部分。
主要包括clientdata、usinglog、event和errorlog等接口。
SDK经过接口定时发送数据到后台。
应用架构罗列出先后端调用关系。

4、数据设计

两个数据库，大约一百张表。数据库的设计依赖业务数据，对业务数据归类，致使数据设计画出E_R图，数据设计完成，最终数据库设计就出来了。数据库只要早起设计的号，是能够作到易伸缩、易拆分的。统计类主要分为统计的维度，还有就是用户、设备、错误信息等。
一、数据处理能力
日活百万，启动次数大概两百万，事件数和页面访问量起码在三百到五百万之间，平均每小时数据量五十万。运行过程当中，**客户数据量集中在迟早高峰。根据客户的特殊状况，会把一些任务安排在闲暇时间段，好比日任务、周任务、月任务等安排在零晨。
好的硬件配置是数据处理的好帮手，更大的内存更快的硬盘绝对可让数据流快速执行。
二、数据清洗和读写分离
大量原始数据入库，这些数据处理以后就是垃圾数据了。当全部报表数据都统计以后并写入各个维度表以后，须要定时把这些数据清除掉。
前台报表展现数据跟存储分析数据库最好分开。

5、物理架构

微服务的物理架构须要的机器不多，一台机器也能跑起来。分析统计主要是数据处理能力要求很高，数据库服务器须要两台，web端须要一台足矣。多年运营结果是并发和数据库处理能力是统计分析的最大瓶颈。

6、继续优化的方向

一、数据读写分离，数据清洗。
二、并发量。

7、客户

客户最关心的数据：
每个客户最关心的就是用户表，用户新增情况、用户活跃状况、用户留存状况。
不一样的客户对用户要求不一样，须要判断用户是不是刷机来的，用户跟设备号及用户ID（用户号码）之间的映射关系。
事件数据也是很重要的，关系转化率。
页面访问跟事件是同等重要。
错误数据能够检测应用存在的Bug。
不一样的客户，不一样的使用场景对指标会有不一样需求。
本文原创首发于Cobub Razor官网博客，做者qhzhang, 转载请注明出处！