项目讲解6

运营商流量运营：

分析用户上网行为数据，内容分析，用户画像，终端分析，网络系统监控，上网详单查询..

如何作？

1.数据采集：

从经分数据、信令网关（用户每一次请求的详细信息）获取数据到ftp服务器

咱们的服务器去对接采集，相似flume（flume的使用）

java采集系统：

1.健壮性：别人的服务器挂了不能致使咱们的服务器挂了；

2.实时性：采集速度比生成速度快；

3.可靠性：采集的数据能正确传递；

上传数据，对数据进行分类

 分类合并上传，在本地磁盘中采集的数据不进行合并，当上传到hdfs上在进行合并，减小本地磁盘的读写操做，可是hdfs上合并，比较复杂，可靠性低，上传hdfs上要在本地记录日志,把出错的文件那一部分重传一下，