用户行为分析之离线数据采集

咱们的数据从哪来？

互联网行业：网站、APP、系统（交互系统）。
传统行业：电信、上网、打电话、发短信等等。
数据源：网站、APP。
等等，这些用户行为都回向咱们的后台发送请求各类各样的请求，和进行各类逻辑交互、交易和结帐等等。

请求转发

网站/APP会发送请求到后台服务器，一般会有Nginx接受请求，而后进行转发。

后台服务器，例如Tomcat、Jetty

一般在面向大量用户和高并发（每秒请求量过万）时，都不是直接使用Tomcat来接收请求。而是使用Nginx来接收请求，而且后端介入Tomcat集群/jetty集群，来进行高并发下的负载均衡。
好比说，Nginx/Tomcat，通过适当配置以后，全部的请求数据都会以log的形式存储起来；或者接收请求的后台，也能够按照本身制定的的规范，没接收一个请求或者没执行一个逻辑，就往日志里发一条log。
到此为止，咱们的后台天天就能够至少产生一份日志文件。

日志文件

日志文件（按照咱们预先设定的格式）一般天天一份，固然也能够多分日志，由于有多个web服务器。
一个日志转移的工具，好比本身用Linux的crontab定时调度一个shell脚本/python脚本；或者本身用java开发一个后台服务，用quartz这样的架构进行定时调度。这个工具负责当天的全部日志的数据都采集起来，进行合并和处理等操做 ，而后整合成一份日志文件，转移到flume agent正在监控的文件夹中。

flume 监控日志文件

flume agent启动以后，能够实时的监控某个指定的文件，看是否有新的文件进来。只要发现有新的日志文件进来时，那么flume就会走后续的channel和sink。一般来讲，sink都会配置为HDFS。
flume负责讲天天的日志传输到HDFS。

日志文件存储在HDFS之中

由于HDFS能够用来存储大数据。

数据清洗

HDFS中的原始日志数据会通过清洗，由于原始数据中可能不少是不符合预期的脏数据。
使用MapReduce开发本身的MR做业，能够用crontab来定时执行，也能够用Ooize或者bat京东美团本身开发的复杂、大型、分布式的调度系统，来承担全公司全部MapReduce/Hive做业的调度（对于大公司来讲，可能天天除了负责数据清洗的MR做业以外，后续的创建数据仓库、进行数据的统计分析的Hive ETL可能高达上万个，上十万个，上百万等），针对HDFS中的原始日志数据清洗以后，写入HDFS的另一个文件之中。

Hive

把HDFS清洗后的数据导入到Hive的某个表中，Hive可使用动态分区，Hive使用分区表，每一个份去放一天的数据。
Hive底层也是基于HDFS，做为一个大数据的数据仓库。数据仓库内部，再日后，其实就是一些数据仓库建模的ETL。ETL会将原始日志所在的一个表转化为几十个、几百个表，这些表就是咱们的数据仓库。而后公司的统计分析人员就会根据数据仓库中的表，执行临时的或者天天定时的 Hive SQL ETL做业进行大数据的统计分析。
Spark/Hadoop/Storm，大数据平台/系统可能都会采用Hive中的数据仓库内部的表。

大数据平台/系统

咱们的大数据平台/系统，其实一般来讲，都会针对Hive中的数据进行开发。数据源都是来自Hive中的表，这些表都是通过大量的Hive SQL ETL之后创建起来的数据仓库，而后进行特殊的、符合业务需求的大数据平台。经过大数据平台来给公司的用户使用，来提供大数据的支持，推进公司的发展。